基于ARM64银河麒麟V4，通过Prometheus+Grafana+Hadoop实现对大数据集群监控

最新推荐文章于 2024-09-19 16:41:42 发布
最新推荐文章于 2024-09-19 16:41:42 发布
阅读量1w 收藏 31
点赞数 7
分类专栏： linux监控 arm架构适配 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yyc1503/article/details/102894698
版权

部署简介

通过jmx_exporter对大数据各个组件进行参数监控，通过node_exporter对服务器基础进行参数监控，使用prometheus进行数据存贮，通过grafana进行界面展示

安装包下载准备

jmx获取方式：https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/
prometheus相关包获取：https://prometheus.io/download/
grafana获取：https://grafana.com/grafana/download

安装prometheus_server

下载好的包直接解压但目录即可
修改配置文件prometheus.yml
前面部分基本没改动，沿用默认配置。

参数作用
scrape_interval默认抓取间隔, 15秒向目标抓取一次数据
scrape_configs这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:“prometheus”}的标签 - job_name: ‘prometheus’
job_name监控名称，相当于分组组名之类 （可手动自定义添加）
static_configs配置静态获取地址，与targets配合使用
file_sd_configs引用外部获取地址，与files配合使用
files外部获取地址文件指定，外部IP地址需要以json格式。 此方法优点适合大集群规模，可以根据hosts文件，批量生成json文件。可以直接添加IP地址，不用修改主配置，不用重启prometheus
# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9090']
  - job_name: 'linux_server' #自定义名称,用于监控linux基础服务
    file_sd_configs:
     - files:
       - configs/linux.json  #linux机器IP地址json文件
  - job_name: 'hdfs'  #用于监控HDFS组件
    file_sd_configs:
     - files:
       - configs/hdfs.json  #hdfs参数获取地址
  - job_name: 'hbase' #用于监控Hbase组件
    file_sd_configs:
     - files:
       - configs/hbase.json #hbase参数获取地址
  - job_name: 'yarn' #用于监控Yarn组件
    file_sd_configs:
     - files:
       - configs/yarn.json #yarn参数获取地址
  - job_name: 'zookeeper' #用于监控zk组件
    file_sd_configs:
     - files:
       - configs/zookeeper.json #zk参数获取地址
  - job_name: 'hive'
    file_sd_configs:
     - files:
       - configs/hive.json
  - job_name: 'kafka'
    file_sd_configs:
     - files:
       - configs/kafka.json
  - job_name: 'spark'
    file_sd_configs:
     - files:
       - configs/spark.json

创建configs目录，在目录下创建json文件

在这里插入图片描述
在这里插入图片描述
文件格式

[
 {
  "targets": ["ip：端口","ip：端口"，"ip：端口"]
 }
]
启动prometheus
nohup ./prometheus --config.file=prometheus.yml &
访问IP：9090

在这里插入图片描述

安装Grafana

下载完后直接安装，启动。访问IP：3000 ，配置数据源。
grafana自带很多插件，以下为各个插件具体作用。
参考 https://www.azurew.com/8143.html
自带插件可能有限，可以去官网下载更多插件。另外官网有很多模板，可以自己选择导入
https://grafana.com/grafana/dashboards
在这里插入图片描述

安装配置jmx插件

jmx 方式是直接在hadoop插件中启用一个http端口，并抽取组件的相关参数。
首先需要将hadoop集群部署成功。我们此处已将通过ansible一键部署成功阿帕奇版本的大数据集群。
参考 https://blog.csdn.net/c275090933/article/details/82108014

Hdfs配置

每个组件都需要一个yaml后缀文件，只需修改端口配置即可（端口可随意指定），并不用来http访问，保证每个组件的yaml文件中端口不重复即可。
先写一个namenode.yaml配置文件，如下

---
startDelaySeconds: 0
hostPort: localhost:1234 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

再写一个datanode.yaml配置

---
startDelaySeconds: 0
hostPort: localhost:1244 #master为本机IP（一般可设置为localhost）；1244为想设置的jmx端口（可设置为未被占用的端口）
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

在hadoop环境变量添加jmx环境变量配置，vim hadoop/etc/hadoop/hadoop-env.sh中
指定http端口9211和9212，指定yaml配置文件位置，指定jmx_agent 包位置

export HADOOP_NAMENODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=1234 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9211:/namenode.yaml"
export HADOOP_DATANODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=1244 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9212:/datanode.yaml"

在haddoop/bin/下，修改hdfs配置文件

134 if [ "$COMMAND" = "namenode" ] ; then
135   CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
136   HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS $HADOOP_NAMENODE_JMX_OPTS" #添加namenode JMX环境变量
137 elif [ "$COMMAND" = "zkfc" ] ; then
138   CLASS='org.apache.hadoop.hdfs.tools.DFSZKFailoverController'
139   HADOOP_OPTS="$HADOOP_OPTS $HADOOP_ZKFC_OPTS $HADOOP_ZKFC_JMX_OPTS" 
140 elif [ "$COMMAND" = "secondarynamenode" ] ; then
141   CLASS='org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode'
142   HADOOP_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"
143 elif [ "$COMMAND" = "datanode" ] ; then
144   CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
145   HADOOP_OPTS="$HADOOP_OPTS $HADOOP_DATANODE_JMX_OPTS" #添加datanode jmx变量

修改完重启hdfs，就可以查看到之前设置的http端口了。

Hbase配置

写一个master.yaml配置文件

---
startDelaySeconds: 0
hostPort: IP:1254 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口（可设
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

regionserver.yaml配置文件

---
startDelaySeconds: 0
hostPort: IP:1255 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

试着在hbase/conf/hbase-env.sh中添加环境变量，但是好像没生效，只能在启动文件中修改配置
在bin/hbase中修改

289 HBASE_M_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmx    remote.port=1254 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9523:/hbasem.yaml"
290 #======================================= prometheus jmx export start===================================
291 HBASE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxre    mote.port=1255 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9522:/hbase.yaml"
292 #======================================= prometheus jmx export end ===================================

323   CLASS='org.apache.hadoop.hbase.master.HMaster'
324   if [ "$1" != "stop" ] && [ "$1" != "clear" ] ; then
325     HBASE_OPTS="$HBASE_OPTS  $HBASE_M_JMX_OPTS  $HBASE_MASTER_OPTS"
326   fi
327 elif [ "$COMMAND" = "regionserver" ] ; then
328   CLASS='org.apache.hadoop.hbase.regionserver.HRegionServer'
329   if [ "$1" != "stop" ] ; then
330     HBASE_OPTS="$HBASE_OPTS $HBASE_JMX_OPTS  $HBASE_REGIONSERVER_OPTS"

重启hbase，查看端口。

yarn

写yarn.yaml 配置文件

---
startDelaySeconds: 0
hostPort: localhost:2111 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

添加环境变量

export YARN_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2111 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9323:/yarn.yaml"

修改启动配置

237   CLASS='org.apache.hadoop.yarn.server.resourcemanager.ResourceManager'
238   YARN_OPTS="$YARN_OPTS $YARN_JMX_OPTS $YARN_RESOURCEMANAGER_OPTS"

267   CLASS='org.apache.hadoop.yarn.server.nodemanager.NodeManager'
268   YARN_OPTS="$YARN_OPTS $YARN_JMX_OPTS -server $YARN_NODEMANAGER_OPTS"

重启查看端口

剩下的组件就不在写了。基本差不多，有些是有现成的包，直接安装即可。

最后就是Grafana作图了，根据Hadoop各个组件参数，制作图形即可。我们是根据自己的需求筛选各个参数，然后利用Grafana的插件自己作图拼接的，如下图。

在这里插入图片描述

后来经过使用发现Grafana的导航栏，也就是上图最左侧的那个组件，是通过收藏每个图形实现的，每次更换机器部署后需要重新收藏，而且无法实现收缩栏功能。基于这种问题，于是我们进行改动，最终实现如下图这样的一版。

在这里插入图片描述

这样我们通过改动实现了左侧导航栏的固定，通过前端分析判断url地址，只要是监控模板页面左侧导航栏都会展示出来。另外在左侧导航栏中部有个点击箭头，可以将Grafana原有的功能栏拉出来，达到了我们的需求

再给大家提供几张自己做的图形参考

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

资源下载链接

https://download.csdn.net/download/YYC1503/18930079

可耐的牛牛
关注
专栏目录
K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-08 1万+
🔴 K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
hadoop 集群监测_【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群
weixin_39851977的博客
12-31 1086
下载jmx_exporter的jar包创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics参考配置：---startDelaySeconds:0hostPort: master:1234 #master为本机IP(一般可设置为localhost)；1234为想设置的jmx端口(可设置为未被占用的端口)#jmxUrl: service:jmx...
redis_4.0.10-1_arm64.deb 银河麒麟v4+飞腾
11-02
1、redis_4.0.10-1_arm64.deb 银河麒麟v4+飞腾 安装包 2、自带服务启动 3、目录树 /opt/redis-4.0.10/ ├── bin │   ├── redis-benchmark │   ├── redis-check-aof │   ├── redis-check-rdb │   ├── redis-cli │   ├── redis-sentinel -> redis-server │   └── redis-server └── redis.conf
prometheus+grafana 监控hadoop、yarn
mnasd的博客
01-29 4801
主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。 1、安装jmx_exporter以及配置文件 1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaage...
银河麒麟 V10 上 Ansible 部署 Elasticsearch 8.9.2 的最佳实践
最新发布
linjifan的专栏
09-19 1075
使用 Ansible 自动化工具，实现在银河麒麟V10-SP3 x86架构版本上对 Elasticsearch 的一键式离线环境安装。
【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群
weixin_30776273的博客
06-04 2121
下载jmx_exporter的jar包 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar 创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics 参考配...
Prometheus+JMX+Grafana监控HDP-Hadoop
TT-Learning
07-31 3588
文章目录0.监控流程1.Ambari+HDP集群搭建1.1 大数据平台搭建1.2 JMX_exporter2.配置namenode、datanode的配置文件2.1 namenode.yaml2.2 datanode.yaml2.3 修改所属组3.修改hadoop相关参数3.1 10.180.210.232节点 namenode、datanode3.2 10.180.210.235、10.180.210.243节点 datanode3.3 /etc/hadoop/3.1.0.0-78/0/hadoop-en
基于Prometheus+Grafana搭建JMeter性能测试监控平台.docx
08-04
基于Prometheus+Grafana搭建JMeter性能测试监控平台.docx 做性能测试，如果没有养成良好的保存结果习惯，那么一个业务指标监控平台就必不可少，不仅可以在线监控，还可以用于报告总结，数据持久化的好处就是让人眼前...
基于ARM64架构CPU一键离线部署prometheus+grafana+alertmanager容器版监控系统工具
06-18
4、支持blackbox-exporter、prometheus、grafana、alertmanager、webhook-dingtalk配置文件持久化。 5、 grafana无需手动添加datasource数据源，无需手动导入dashboard。同时也介绍了另外两个不错的模板，你也可以...
Prometheus+Grafana监控部署（基于ARM）
11-08
Prometheus+Grafana监控部署（基于ARM）
Prometheus+Grafana
02-22
Prometheus和Grafana是两种在大数据监控领域广泛使用的开源工具...学习和掌握Prometheus+Grafana的组合，可以帮助运维人员及时发现并解决系统问题，提高系统的稳定性和效率，对于大数据环境下的监控工作具有重要价值。
基于hadoop监控的grafana模板
05-21
针对hadoop生态组件制定的grafana模板，包括hdfs(nn、dn)、yarn（rm、nm）、hbase（hm、rs）、hive、kafka、spark、zookeeper
prometheus arm64版本二进制安装包
06-17
安装包包含console_libraries 、consoles 、data 、LICENSE 、NOTICE 、prometheus 、prometheus.yml 、promtool
Prometheus 监控 Hadoop3
肉蛋葱鸭的博客
06-03 4067
Prometheus 监控 Hadoop3 可能是全网最简洁的配置攻略 下载 jmx_exporter jmx_exporter Github地址 包含下载链接和使用说明。 我们可以看到jmx的使用方法是以java agent的形式启动，会开启一个端口供Prometheus拉数： java -javaagent:./jmx_prometheus_javaagent-0.13.0.jar=8080:config.yaml -jar yourJar.jar 创建组件配置文件启动jmx_exporter的时候
Prometheus 监控 Hadoop3（docker）部署
桃李不言的博客
05-18 1815
普罗米修斯是一款非常有前景也十分便利的运维监控软件，Prometheus+Grafana 可以实现非常美观的运维监控画面，并且部署起来也非常简单。 1.下载安装Prometheus和Grafana prometheus官网下载：prometheus 和node_exporter组件 https://prometheus.io/download/ 下载好以后解压就行 Grafana下载安装： https://grafana.com/grafana/download sudo apt-get i
arm集群服务器_在类树莓派的ARM开发板上组建大数据集群
weixin_39823200的博客
12-19 554
先上效果： 这是由三块pine64+开发板搭建的mini集群，网上有用树莓派搭建Hadoop文章，不过由于树莓派的性能实在太差了(很老的CPU，1G内存)，所以最终我选择了与之价格相近(200左右一块)的pine64+(官方链接在此：http://www.pine64.com/product)，它有一颗4核64位的A53 CPU及2GB DDR3的内存。我目前安装了Hadoop、Spark、Z...
大数据监控平台-Prometheus监控Hadoop3.1.3
S1124654的博客
01-31 2775
大数据监控平台-Prometheus监控Hadoop
基于ARM64银河麒麟V4编译安装hue4.2
YYC1503的博客
08-10 1465
简介 Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。 环境准备 组件 版本 hadoop 2.7.5 mysql 5.7
基于Prometheus+grafana的Nacos监控实现的参考文献
07-28
基于Prometheus+Grafana的Nacos监控实现的参考文献可以参考\[3\]中的文章目录。该目录提供了关于Prometheus监控Springboot程序的详细步骤，包括添加依赖、修改配置文件、启用Prometheus监控、监控埋点等内容。此外，你还可以参考其他相关的文献和资料来获取更多关于基于Prometheus+Grafana的Nacos监控实现的信息。 #### 引用[.reference_title] - *1* *2* *3* [Prometheus监控Springboot程序](https://blog.csdn.net/mingyonghu/article/details/104040205)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 57
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

可耐的牛牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值