Prometheus+JMX+Grafana监控HDP-Hadoop

最新推荐文章于 2024-08-08 08:18:40 发布
最新推荐文章于 2024-08-08 08:18:40 发布
阅读量3.5k 收藏 17
点赞数 2
分类专栏： Prometheus HDFS Grafana 文章标签： Prometheus Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/107705936
版权
Prometheus 同时被 3 个专栏收录
19 篇文章 3 订阅
订阅专栏
HDFS
18 篇文章 0 订阅
订阅专栏
Grafana
7 篇文章 0 订阅
订阅专栏

文章目录

0.监控流程

在这里插入图片描述

1.Ambari+HDP集群搭建

1.1 大数据平台搭建

https://blog.csdn.net/happy_sunshine_boy/article/details/86595945
在这里插入图片描述
在这里插入图片描述

1.2 JMX_exporter

https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.13.0/jmx_prometheus_javaagent-0.13.0.jar

2.配置namenode、datanode的配置文件

2.1 namenode.yaml


# 10.180.210.232节点 namenode
startDelaySeconds: 0
hostPort: 127.0.0.1:8004   #本机IP（一般可设置为localhost）；50071为想设置的jmx端口（可设置为未被占用的端口）
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

2.2 datanode.yaml


# 10.180.210.232节点 datanode
startDelaySeconds: 0
hostPort: 127.0.0.1:8005
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

# 10.180.210.235节点 datanode
startDelaySeconds: 0
hostPort: 127.0.0.1:8005
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

# 10.180.210.243节点 datanode
startDelaySeconds: 0
hostPort: 127.0.0.1:8005
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

2.3 修改所属组

chown -R hdfs:hadoop /usr/local/prom/exporter/jmx

3.修改hadoop相关参数

3.1 10.180.210.232节点 namenode、datanode

cat /usr/hdp/3.1.0.0-78/hadoop-hdfs/bin/hdfs
#!/bin/bash

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/3.1.0.0-78/hadoop}
export HADOOP_MAPRED_HOME=${HADOOP_MAPRED_HOME:-/usr/hdp/3.1.0.0-78/hadoop-mapreduce}
export HADOOP_YARN_HOME=${HADOOP_YARN_HOME:-/usr/hdp/3.1.0.0-78/hadoop-yarn}
export HADOOP_LIBEXEC_DIR=${HADOOP_HOME}/libexec
export HDP_VERSION=${HDP_VERSION:-3.1.0.0-78}
export HADOOP_OPTS="${HADOOP_OPTS} -Dhdp.version=${HDP_VERSION}"

#jmx_exporter#
export HDFS_NAMENODE_OPTS="$HDFS_NAMENODE_JMX_OPTS -javaagent:/usr/local/prom/exporter/jmx/jmx_prometheus_javaagent-0.13.0.jar=9200:/usr/local/prom/exporter/jmx/namenode.yaml"
export HDFS_DATANODE_OPTS="$HDFS_DATANODE_JMX_OPTS -javaagent:/usr/local/prom/exporter/jmx/jmx_prometheus_javaagent-0.13.0.jar=9300:/usr/local/prom/exporter/jmx/datanode.yaml"

exec /usr/hdp/3.1.0.0-78//hadoop-hdfs/bin/hdfs.distro "$@"



cat /usr/hdp/3.1.0.0-78/hadoop/bin/hdfs
#!/bin/bash

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/3.1.0.0-78/hadoop}
export HADOOP_MAPRED_HOME=${HADOOP_MAPRED_HOME:-/usr/hdp/3.1.0.0-78/hadoop-mapreduce}
export HADOOP_YARN_HOME=${HADOOP_YARN_HOME:-/usr/hdp/3.1.0.0-78/hadoop-yarn}
export HADOOP_LIBEXEC_DIR=${HADOOP_HOME}/libexec
export HDP_VERSION=${HDP_VERSION:-3.1.0.0-78}
export HADOOP_OPTS="${HADOOP_OPTS} -Dhdp.version=${HDP_VERSION}"

#jmx_exporter#
export HDFS_NAMENODE_OPTS="$HDFS_NAMENODE_JMX_OPTS -javaagent:/usr/local/prom/exporter/jmx/jmx_prometheus_javaagent-0.13.0.jar=9200:/usr/local/prom/exporter/jmx/namenode.yaml"
export HDFS_DATANODE_OPTS="$HDFS_DATANODE_JMX_OPTS -javaagent:/usr/local/prom/exporter/jmx/jmx_prometheus_javaagent-0.13.0.jar=9300:/usr/local/prom/exporter/jmx/datanode.yaml"

exec /usr/hdp/3.1.0.0-78//hadoop-hdfs/bin/hdfs.distro "$@"

3.2 10.180.210.235、10.180.210.243节点 datanode

cat /usr/hdp/3.1.0.0-78/hadoop-hdfs/bin/hdfs
#!/bin/bash

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/3.1.0.0-78/hadoop}
export HADOOP_MAPRED_HOME=${HADOOP_MAPRED_HOME:-/usr/hdp/3.1.0.0-78/hadoop-mapreduce}
export HADOOP_YARN_HOME=${HADOOP_YARN_HOME:-/usr/hdp/3.1.0.0-78/hadoop-yarn}
export HADOOP_LIBEXEC_DIR=${HADOOP_HOME}/libexec
export HDP_VERSION=${HDP_VERSION:-3.1.0.0-78}
export HADOOP_OPTS="${HADOOP_OPTS} -Dhdp.version=${HDP_VERSION}"

#jmx_exporter#
export HDFS_DATANODE_OPTS="$HDFS_DATANODE_JMX_OPTS -javaagent:/usr/local/prom/exporter/jmx/jmx_prometheus_javaagent-0.13.0.jar=9300:/usr/local/prom/exporter/jmx/datanode.yaml"

exec /usr/hdp/3.1.0.0-78//hadoop-hdfs/bin/hdfs.distro "$@"




cat /usr/hdp/3.1.0.0-78/hadoop/bin/hdfs
#!/bin/bash

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/3.1.0.0-78/hadoop}
export HADOOP_MAPRED_HOME=${HADOOP_MAPRED_HOME:-/usr/hdp/3.1.0.0-78/hadoop-mapreduce}
export HADOOP_YARN_HOME=${HADOOP_YARN_HOME:-/usr/hdp/3.1.0.0-78/hadoop-yarn}
export HADOOP_LIBEXEC_DIR=${HADOOP_HOME}/libexec
export HDP_VERSION=${HDP_VERSION:-3.1.0.0-78}
export HADOOP_OPTS="${HADOOP_OPTS} -Dhdp.version=${HDP_VERSION}"

#jmx_exporter#
export HDFS_DATANODE_OPTS="$HDFS_DATANODE_JMX_OPTS -javaagent:/usr/local/prom/exporter/jmx/jmx_prometheus_javaagent-0.13.0.jar=9300:/usr/local/prom/exporter/jmx/datanode.yaml"

exec /usr/hdp/3.1.0.0-78//hadoop-hdfs/bin/hdfs.distro "$@"

3.3 /etc/hadoop/3.1.0.0-78/0/hadoop-env.sh

Ambari - HDFS - CONFIGS - Advanced hadoop-env - hadoop-env template 添加

在这里插入图片描述


#jmx_exporter#
export HDFS_NAMENODE_OPTS="-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.local.only=false
-Dcom.sun.management.jmxremote.port=8004
$HDFS_NAMENODE_OPTS"

export HDFS_DATANODE_OPTS="-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.local.only=false
-Dcom.sun.management.jmxremote.port=8005
$HDFS_DATANODE_OPTS"

3.4 重启HDFS

在这里插入图片描述

4.访问

4.1 namenode

在这里插入图片描述

4.2 datanode

4.2.1 10.180.249.232:9300

在这里插入图片描述

4.2.2 10.180.249.235:9300

在这里插入图片描述

4.2.3 10.180.249.243:9300

在这里插入图片描述

5.prometheus配置

vim /opt/prometheus/cfg/prometheus.yml

  - job_name: 'HDP-HDFS-namenode'
    static_configs:
    - targets: ['10.180.210.232:9200']

  - job_name: 'HDP-HDFS-datanode'
    static_configs:
    - targets: ['10.180.210.232:9300', '10.180.210.235:9300', '10.180.210.243:9300']

重启Prometheus：systemctl restart prometheus.service
http://10.180.249.176:9090/targets
在这里插入图片描述

6.Grafana配置

没有找到Grafana现成的模板使用，需要手动创建：
http://10.180.249.176:3000/
在这里插入图片描述

@TangXin
关注
专栏目录
prometheus+grafana 监控hadoop、yarn
c275090933的专栏
08-27 1万+
主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。 1、安装jmx_exporter以及配置文件 1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaag...
基于ARM64银河麒麟V4，通过Prometheus+Grafana+Hadoop实现对大数据集群监控
热门推荐
YYC1503的博客
11-04 1万+
部署简介 通过jmx_exporter对大数据各个组件进行参数监控，通过node_exporter对服务器基础进行参数监控，使用prometheus进行数据存贮，通过grafana进行界面展示 安装包下载准备 jmx获取方式：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/ prometheus相关...
推荐：JMX Exporter - 您的Prometheus与Java监控桥梁
gitblog_00910的博客
08-08 504
推荐：JMX Exporter - 您的Prometheus与Java监控桥梁 jmx_exporterA process for exposing JMX Beans via HTTP for Prometheus consumption项目地址:https://gitcode.com/gh_mirrors/jm/jmx_exporter 在现代微服务架构中，有效的监控是保障系统健康运行的关键...
基于hadoop监控的grafana模板
05-21
针对hadoop生态组件制定的grafana模板，包括hdfs(nn、dn)、yarn（rm、nm）、hbase（hm、rs）、hive、kafka、spark、zookeeper
如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群
weixin_41077058的博客
11-08 4396
JMX_Expoter 监控 因为目前CDH以及HDP后续要合并闭源，公司打算花时间自研一个类似的平台，我也对集群监控这块下了点功夫。 监控 ​ 对于一个集群管理平台，首当其冲的就是其中的监控如何实现，毕竟很多时候我们打开它只是因为邮箱里收到了报警:-)，那么我们应该如何获取Hadoop等集群的信息呢？这时候需要简单了解一个知识点了：JMX。 ​ 我们简单介绍一下Java的JMX是什么，JMX全程叫做Java Management Extensions，翻译过来就是Java内存管理，最常用到的就是..
【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群
weixin_30776273的博客
06-04 2097
下载jmx_exporter的jar包 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar 创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics 参考配...
hadoop 集群监测_【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群
weixin_39851977的博客
12-31 1078
下载jmx_exporter的jar包创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics参考配置：---startDelaySeconds:0hostPort: master:1234 #master为本机IP(一般可设置为localhost)；1234为想设置的jmx端口(可设置为未被占用的端口)#jmxUrl: service:jmx...
Prometheus+Grafana 监控Kube-Controller-Manager模版
最新发布
09-10
使用prometheus监控k8s的controller的grafana模版（二进制/kubeadm通用）
prometheus + alertmanager + grafana +钉钉告警 动部署包
06-29
Prometheus、Alertmanager、Grafana以及钉钉告警是监控和报警系统的关键组件，尤其在 Kubernetes (k8s) 集群环境中。这个手动部署包提供了在 Kubernetes 上搭建这套系统的 YAML 文件，使得用户可以方便地应用配置，...
prometheus + alertmanager + grafana + node-exporter安装包
07-01
Prometheus、Alertmanager、Grafana和Node-Exporter是监控和警报管理的四个关键组件，广泛用于现代云原生环境。这些工具都是开源的，由社区维护，并且与Prometheus生态紧密集成。 1. Prometheus：Prometheus是一款...
prometheus grafana 基于开源监控apache Hadoop模板大全
04-13
jmx prometheus grafana 监控开源hadoop各个组件模板。 Hadoop、Zookeeper、HBase等包含12个json模板 导入即可使用，不许做任何修改。
GrafanaDashboard
04-12
GrafanaDashboard
Java开发案例-springboot-51-Prometheus+Grafana监控SpringBoot-源代码+文档.rar
05-31
Java开发案例-springboot-51-Prometheus+Grafana监控SpringBoot-源代码+文档.rar Java开发案例-springboot-51-Prometheus+Grafana监控SpringBoot-源代码+文档.rar Java开发案例-springboot-51-Prometheus+Grafana...
Prometheus+Process exporter+Grafana进程监控
L
05-06 619
部署规划 主机名 bigdata111 bigdata112 IP地址 192.168.128.111 192.168.128.112 服务部署 Prometheus、 Grafana、 process exporter process exporter Prometheus 部署目录 /opt/prometheus/ node exporter 部署目录
Prometheus 监控 Hadoop3
肉蛋葱鸭的博客
06-03 3986
Prometheus 监控 Hadoop3 可能是全网最简洁的配置攻略 下载 jmx_exporter jmx_exporter Github地址 包含下载链接和使用说明。 我们可以看到jmx的使用方法是以java agent的形式启动，会开启一个端口供Prometheus拉数： java -javaagent:./jmx_prometheus_javaagent-0.13.0.jar=8080:config.yaml -jar yourJar.jar 创建组件配置文件启动jmx_exporter的时候
Prometheus 监控 Hadoop3（docker）部署
桃李不言的博客
05-18 1769
普罗米修斯是一款非常有前景也十分便利的运维监控软件，Prometheus+Grafana 可以实现非常美观的运维监控画面，并且部署起来也非常简单。 1.下载安装Prometheus和Grafana prometheus官网下载：prometheus 和node_exporter组件 https://prometheus.io/download/ 下载好以后解压就行 Grafana下载安装： https://grafana.com/grafana/download sudo apt-get i
大数据监控平台-Prometheus监控Hadoop3.1.3
S1124654的博客
01-31 2641
大数据监控平台-Prometheus监控Hadoop
prometheus jmx exporter + prometheus + grafana
dejunyang的博客
04-01 1574
prometheus jmx exporter + prometheus + grafana 实现Java应用可视化监控
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@TangXin

路漫漫其修远兮，吾将上下而求索

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值