【Hadoop_exporter】prometheus监控hadoop

已于 2023-10-16 16:15:08 修改
阅读量4.5k 收藏 2
点赞数 1
分类专栏： hadoop 文章标签： hadoop prometheus eclipse
于 2021-01-30 10:02:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42158942/article/details/113390193
版权

效果

简单弄了图表，我不是很熟悉制作图表
在这里插入图片描述

下载jmx_prometheus_javaagent-0.15.0.jar

https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.15.0/

写需要监控的角色专属yaml

namenode.yaml

startDelaySeconds: 0
#master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
hostPort: localhost:1234 
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

datanode.yaml

hostPort: localhost:1235改这个端口号即可

startDelaySeconds: 0
#master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
hostPort: localhost:1235
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

监控YARN组件

resourcemanager.yaml
…
nodemanager.yaml
…

修改hadoop.env.sh 、yarn.env.sh

路径 hadoop-2.7.7/etc/hadoop/
hadoop.env.sh 添加

export HADOOP_NAMENODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false   -Dcom.sun.management.jmxremote.port=1234 -javaagent:/home/monitor/jmx_exporter/jmx_prometheus_javaagent-0.15.0.jar=9201:/home/monitor/jmx_exporter/namenode.yaml"
export HADOOP_DATANODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false   -Dcom.sun.management.jmxremote.port=1235 -javaagent:/home/monitor/jmx_exporter/jmx_prometheus_javaagent-0.15.0.jar=9202:/home/monitor/jmx_exporter/datanode.yaml"

注意改端口号，每个角色不能冲突
export HADOOP_NAMENODE_JMX_OPTS=“-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=1234 -javaagent:/home/monitor/jmx_exporter/jmx_prometheus_javaagent-0.15.0.jar=9201:/home/monitor/jmx_exporter/namenode.yaml”

yarn.env.sh 添加

export YARN_NODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false   -Dcom.sun.management.jmxremote.port=1237 -javaagent:/home/monitor/jmx_exporter/jmx_prometheus_javaagent-0.15.0.jar=9204:/home/monitor/jmx_exporter/nodemanager.yaml"
export YARN_RE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false   -Dcom.sun.management.jmxremote.port=1236 -javaagent:/home/monitor/jmx_exporter/jmx_prometheus_javaagent-0.15.0.jar=9203:/home/monitor/jmx_exporter/resourcemanager.yaml"

修改hdfs 、yarn

路径hadoop-2.7.7/bin/
hdfs

if [ "$COMMAND" = "namenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS $HADOOP_NAMENODE_JMX_OPTS"
elif [ "$COMMAND" = "zkfc" ] ; then
  CLASS='org.apache.hadoop.hdfs.tools.DFSZKFailoverController'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_ZKFC_OPTS"
elif [ "$COMMAND" = "secondarynamenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"
elif [ "$COMMAND" = "datanode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
  if [ "$starting_secure_dn" = "true" ]; then
    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS $HADOOP_DATANODE_JMX_OPTS"
  else
    HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS $HADOOP_DATANODE_JMX_OPTS"
  fi

yarn
找到相关位置加入env里的变量
YARN_OPTS=“$YARN_OPTS $YARN_RESOURCEMANAGER_OPTS $YARN_RE_JMX_OPTS”

elif [ "$COMMAND" = "resourcemanager" ] ; then
  CLASSPATH=${CLASSPATH}:$YARN_CONF_DIR/rm-config/log4j.properties
  CLASS='org.apache.hadoop.yarn.server.resourcemanager.ResourceManager'
  YARN_OPTS="$YARN_OPTS $YARN_RESOURCEMANAGER_OPTS $YARN_RE_JMX_OPTS"
  if [ "$YARN_RESOURCEMANAGER_HEAPSIZE" != "" ]; then
    JAVA_HEAP_MAX="-Xmx""$YARN_RESOURCEMANAGER_HEAPSIZE""m"
  fi


elif [ "$COMMAND" = "nodemanager" ] ; then
  CLASSPATH=${CLASSPATH}:$YARN_CONF_DIR/nm-config/log4j.properties
  CLASS='org.apache.hadoop.yarn.server.nodemanager.NodeManager'
  YARN_OPTS="$YARN_OPTS -server $YARN_NODEMANAGER_OPTS $YARN_NODE_JMX_OPTS"
  if [ "$YARN_NODEMANAGER_HEAPSIZE" != "" ]; then
    JAVA_HEAP_MAX="-Xmx""$YARN_NODEMANAGER_HEAPSIZE""m"
  fi

复制改变过的文件到字节点

......

重启hadoop、查看指标

端口号
export HADOOP_NAMENODE_JMX_OPTS=“-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=1234 -javaagent:/home/monitor/jmx_exporter/jmx_prometheus_javaagent-0.15.0.jar=9201:/home/monitor/jmx_exporter/namenode.yaml”
在这里插入图片描述

prometheus添加job

  - job_name: 'namenode'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9201']
 - job_name: 'datanode1'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['node1:9202']

......

grafana制图

在这里插入图片描述

go编译安装hadoop_exporter失败

安装golang

https://studygolang.com/dl

下载tar.gz解压，配置环境变量即可。环境变量名 $GOPATH

安装glide

curl https://glide.sh/get | sh

安装git

yum install git-all

下载hadoop_exporter

https://github.com/Datatamer/hadoop_exporter

编译安装exporter

glide install
go build namenode_exporter.go
go build resourcemanager_exporter.go

[root@master hadoop_exporter-master]# glide install
[WARN]	The name listed in the config file (Datatamer/hadoop_exporter) does not match the current location (.)
[WARN]	Lock file may be out of date. Hash check of YAML failed. You may need to run 'update'
[INFO]	Downloading dependencies. Please wait...
[INFO]	--> Fetching github.com/beorn7/perks
[INFO]	--> Fetching github.com/prometheus/log
[INFO]	--> Fetching github.com/prometheus/procfs
[INFO]	--> Fetching github.com/golang/protobuf
[INFO]	--> Fetching github.com/prometheus/client_model
[INFO]	--> Fetching github.com/Sirupsen/logrus
[INFO]	--> Fetching golang.org/x/sys
[INFO]	--> Fetching github.com/prometheus/client_golang
[INFO]	--> Fetching github.com/matttproud/golang_protobuf_extensions
[INFO]	--> Fetching github.com/prometheus/common
[WARN]	Unable to checkout github.com/golang/protobuf
[ERROR]	Update failed for github.com/golang/protobuf: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-golang-protobuf'...
fatal: unable to access 'https://github.com/golang/protobuf/': TCP connection reset by peer
: exit status 128
[WARN]	Unable to checkout github.com/Sirupsen/logrus
[ERROR]	Update failed for github.com/Sirupsen/logrus: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-Sirupsen-logrus'...
error: RPC failed; result=35, HTTP code = 0
fatal: The remote end hung up unexpectedly
: exit status 128
[WARN]	Unable to checkout github.com/matttproud/golang_protobuf_extensions
[ERROR]	Update failed for github.com/matttproud/golang_protobuf_extensions: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-matttproud-golang_protobuf_extensions'...
error: RPC failed; result=35, HTTP code = 0
fatal: The remote end hung up unexpectedly
: exit status 128
[WARN]	Unable to checkout github.com/beorn7/perks
[ERROR]	Update failed for github.com/beorn7/perks: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-beorn7-perks'...
fatal: unable to access 'https://github.com/beorn7/perks/': TCP connection reset by peer
: exit status 128
[WARN]	Unable to checkout github.com/prometheus/client_model
[ERROR]	Update failed for github.com/prometheus/client_model: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-prometheus-client_model'...
fatal: unable to access 'https://github.com/prometheus/client_model/': TCP connection reset by peer
: exit status 128
[WARN]	Unable to checkout github.com/prometheus/common
[ERROR]	Update failed for github.com/prometheus/common: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-prometheus-common'...
error: RPC failed; result=35, HTTP code = 0
fatal: The remote end hung up unexpectedly
: exit status 128
[WARN]	Unable to checkout golang.org/x/sys
[ERROR]	Update failed for golang.org/x/sys: Cannot detect VCS
[ERROR]	Failed to install: Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-golang-protobuf'...
fatal: unable to access 'https://github.com/golang/protobuf/': TCP connection reset by peer
: exit status 128
Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-Sirupsen-logrus'...
error: RPC failed; result=35, HTTP code = 0
fatal: The remote end hung up unexpectedly
: exit status 128
Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-matttproud-golang_protobuf_extensions'...
error: RPC failed; result=35, HTTP code = 0
fatal: The remote end hung up unexpectedly
: exit status 128
Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-beorn7-perks'...
fatal: unable to access 'https://github.com/beorn7/perks/': TCP connection reset by peer
: exit status 128
Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-prometheus-client_model'...
fatal: unable to access 'https://github.com/prometheus/client_model/': TCP connection reset by peer
: exit status 128
Unable to get repository: Cloning into '/root/.glide/cache/src/https-github.com-prometheus-common'...
error: RPC failed; result=35, HTTP code = 0
fatal: The remote end hung up unexpectedly
: exit status 128
Cannot detect VCS
BIG*BOSS
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
hadoop_join.jar.zip_hadoop_hadoop query_reduce
09-20
The Joins query by using Hadoop and map reduce
hadoop_exporter+prometheus监控HDFS
weixin_40689822的博客
11-29 1682
1.准备工作 安装go、glibe(需要连google服务器，咋连的，我就不写了，因为尝试了各种办法，都失败了，很伤心) 2.下载hadoop_exporter cd /usr/local/prom/exporter git clone https://github.com/Datatamer/hadoop_exporter cd hadoop_exporter glide install go get github.com/prometheus/client_golang/prometheus go g
prometheus job 重复_监控大规模Hadoop集群，Prometheus完胜Zabbix？
weixin_39686048的博客
11-24 273
作者介绍洪迪，联通大数据高级运维开发工程师，主要负责大数据平台运维管理及核心监控平台开发工作。具有多年大数据集群规划建设、性能调优及监控体系建设经验，对Prometheus架构设计、运维开发等方面有深入理解和实践。背景随着公司业务发展，大数据集群规模正在不断扩大，一些大型集群物理机节点甚至已近上千。面对如此规模庞大的集群，一套优秀的监控系统是运维人员发现及处理故障的关键利器。经过多次选型...
四、 Prometheus：使用Exporter监控Windows和Linux以及配置加密认证
SteveRocket's-Blog
03-18 3505
在Prometheus的架构设计中，Prometheus Server并不直接服务监控特定的目标，其主要任务负责数据的收集，存储并且对外提供数据查询支持。因此为了能够能够监控到某些东西，如主机的CPU使用率，需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址（通常是/metrics）拉取监控样本数据。 为了采集主机的监控样本数据，在主机上安装了一个Node Exporter程序，该程序对外暴露了一个用于获取当前监控样本数据的HTTP访问地址。
基于hadoop监控的grafana模板
05-21
针对hadoop生态组件制定的grafana模板，包括hdfs(nn、dn)、yarn（rm、nm）、hbase（hm、rs）、hive、kafka、spark、zookeeper
prometheus grafana 基于开源监控apache Hadoop模板大全
04-13
jmx prometheus grafana 监控开源hadoop各个组件模板。 Hadoop、Zookeeper、HBase等包含12个json模板 导入即可使用，不许做任何修改。
prometheus监控hadoop
Magic_Music的博客
08-12 2861
prometheus监控hadoop
部署Promethuse监控Hadoop节点
最新发布
qq_44643155的博客
08-05 578
以datanode为例，datanode运行期间的日志会写在/usr/local/hadoop/logs/hadoop-root-datanodex.log中，如果启动datanode进程失败，失败原因在log中也没有记录的话，可以查看/usr/local/hadoop/logs/hadoop-root-datanodex.out.x文件，可能会有帮助。已经存在开源工具帮助我们做这一步，笔者本文使用的是JMX Exporter，但是刚发现了更契合的工具hadoop_exporter，感兴趣的自行搜索。
大数据监控平台-Prometheus监控Hadoop3.1.3
S1124654的博客
01-31 2227
大数据监控平台-Prometheus监控Hadoop
hadoop_exporter
weixin_30906701的博客
03-13 654
1.下载安装go 1、下载二进制包：go1.4.linux-amd64.tar.gz。 2、将下载的二进制包解压至 /usr/local目录。 tar -C /usr/local -xzf go1.4.linux-amd64.tar.gz 3、配置go编辑目录mkdir -p /usr/local/go/workplace4、将 /usr/local/go/bin 目录添加...
hbase-exporter:HBase Prometheus导出器
03-05
hbase-exporter HBase Prometheus导出器 收集指标并中继JMX指标以供Prometheus使用 由于JMX中一些重要的指标缺失或为空，因此我们另外分析了HBase主界面，例如“过渡中的过时区域” 解析“ hbase hbck”命令的输出以检查HBase中的不一致情况 将Hbase标记为不健康要求满足以下条件之一 至少有一个陈旧的区域正在过渡 'hbase hbck'命令显示HBase不一致 对预定义表的写入不成功 无法确定ZooKeeper领导者 构建/安装依赖性 有关python模块的要求，请参见requirements.txt $ sudo dnf/pkg install python3 当用户执行导出程序（例如hdfs）时： $ sudo su - hdfs $ pip3 install --user -r requirements.txt pr
hadoop_class-master.zip_Master Class_hadoop_社交
09-24
部分简单hadoop代码,包括社交三角形统计、倒排索引等
pc机连接集群的HADOOP_HOME
12-14
pc机连接hadoop集群必须的文件，把它放到本地，然后配置到环境变量中，才能在本地操作集群。
【Hadoop】mapreduce环形缓冲区
BIG BOSS的博客
09-09 3218
mapreduce过程解析 数据在map中怎么写入磁盘？ 数据：经过map逻辑处理过后的数据（key,value）… 磁盘：本地磁盘 环形缓冲区 1.为什么要环形缓冲区？ 答：使用环形缓冲区，便于写入缓冲区和写出缓冲区同时进行。 2.为什么不等缓冲区满了再spill? 答：会出现阻塞。 3.数据的分区和排序是在哪完成的？ 答：分区是根据元数据meta中的分区号partition来分区的，排序是...
【CDH】启动命令
BIG BOSS的博客
02-18 1339
systemctl start httpd service cloudera-scm-server start
【python】修改xml文件
BIG BOSS的博客
02-08 985
例如Hadoop的hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance
【Hadoop】hdfs文件上传流程图
BIG BOSS的博客
09-02 667
【Checkpoint】HA模式下checkpoint流程
BIG BOSS的博客
10-10 588
checkpoint过程 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，这个后续我会详细用一篇文章介绍HA，所以这里就不多说了。因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要从内存中生成新的fsimage。 详细过程如下： （standby...
Hadoop_NodeManager_AllocatedVCores
06-02
`Hadoop_NodeManager_AllocatedVCores` 是一个普罗米修斯指标，用于监控 Hadoop 集群中 NodeManager 上已经分配的虚拟 CPU 核心数（vcores）。 以下是示例普罗米修斯指标定义： ``` # HELP Hadoop_NodeManager_AllocatedVCores The number of vCores allocated on NodeManager # TYPE Hadoop_NodeManager_AllocatedVCores gauge Hadoop_NodeManager_AllocatedVCores{node_manager="node1"} 10 Hadoop_NodeManager_AllocatedVCores{node_manager="node2"} 8 Hadoop_NodeManager_AllocatedVCores{node_manager="node3"} 12 ``` 其中，`node_manager` 是标签（label），用于区分不同的 NodeManager。每个 NodeManager 都有一个对应的 `Hadoop_NodeManager_AllocatedVCores` 指标，记录该 NodeManager 上已经分配的虚拟 CPU 核心数。 通过监控这个指标，您可以了解整个集群中已经分配的虚拟 CPU 核心数分布情况，以及每个 NodeManager 上的负载情况，从而更好地进行资源调度和管理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值