Hadoop监控方法总结

最新推荐文章于 2021-11-29 11:25:28 发布
VIP文章 最新推荐文章于 2021-11-29 11:25:28 发布
阅读量1.1w 收藏 17
点赞数 2
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a274955739/article/details/17766107
版权

      接触Hadoop已经一年半了，期间积累了一些Hadoop运维经验，一直想自己开发一套Hadoop监控系统，正好最近实验室有个相关的项目，就借机研究了一下，在这里总结一下Hadoop监控办法。

      一直认为Hadoop本身自带的HDFS和JobTracker监控页面是最好用的监控页面，简单明了。但是现在想要自己开发一套监控系统，那该怎样去获取Hadoop集群的当前状况呢？

  1. 网页抓取
    首先，想到的办法是抓取网页，通过抓取50030和50070页面获得监控的数据。不得不说，这个办法实在是太土了，不到万不得已真的不好意思用。

  2. Hadoop JMX 接口
    经过各种查阅，看到了一位大神写的文档（链接：http://slaytanic.blog.51cto.com/2057708/1179108），再次再膜拜一下这位大神吧。将http://namenode:50070/dfshealth.jsp 替换为 http://namenode:50070/jmx 就可以看到Hadoop自带的JMX接口所返回的JSON格式的数据，信息非常全面。同时，可以在链接的后面，
最低0.47元/天 解锁文章
yinjs1989
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pc机连接集群的HADOOP_HOME
12-14
pc机连接hadoop集群必须的文件，把它放到本地，然后配置到环境变量中，才能在本地操作集群。
Hadoop监控指标项
dengjiyu8406的博客
11-28 943
配置 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh # 在配置namenode和datanode时都会有用到JMX_OPTS的代码，是为了减少重复提取出的公共代码 export JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=fals...
ARM下编译zookeeper_exporter和clickhouse_exporter
永无止境
01-19 857
最近项目在用Prometheus+Grafana搭建监控平台，主要用来监控hadoop生态，使用官方jmx_prometheus_javaagent发现很多参数获取不到，最后使用hadoop_exporter和zookeeper_exporter，zookeeper_exporter项目地址：https://github.com/carlpett/zookeeper_exporter，文件是x86的，在ARM下使用必须编译： 一、配置代理 #使用如下 git config --global http.
Prometheus
weixin_34018169的博客
08-27 700
Prometheus入门一、什么是TSDB？TSDB(Time Series Database)时序列数据库，我们可以简单的理解为一个优化后用来处理时间序列数据的软件，并且数据中的数组是由时间进行索引的。1、时间序列数据库的特点大部分时间都是写入操作。写入操作几乎是顺序添加，大多数时候数据到达后都以时间排序。写操作很少写入很久之前的数据，也很少更新数据。大多数情况在数据被采集...
如何python安装hadoop_hadoop_exporter python版本的安装使用
weixin_39918682的博客
11-28 312
1.需要使用python pip参考https://www.cnblogs.com/rain124/p/6196053.htmlpython2.7.5 安装pip1 先安装setuptools下载地址：https://pypi.python.org/pypi/setuptools#downloads将下载后的tar文件解压，用CMD模式进入到解压后的文件所在的目录执行命令：python setup...
【Hadoop_exporter】prometheus监控hadoop
BIG BOSS的博客
01-30 4518
下载jmx_prometheus_javaagent-0.15.0.jar https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.15.0/ 写需要监控的角色专属yaml namenode.yaml startDelaySeconds: 0 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口 hostPort: localhost:1234 #jmxUrl: servi
hadoop_exporter+prometheus监控HDFS
weixin_40689822的博客
11-29 1674
1.准备工作 安装go、glibe(需要连google服务器，咋连的，我就不写了，因为尝试了各种办法，都失败了，很伤心) 2.下载hadoop_exporter cd /usr/local/prom/exporter git clone https://github.com/Datatamer/hadoop_exporter cd hadoop_exporter glide install go get github.com/prometheus/client_golang/prometheus go g
Hadoop集群搭建
jiayouLau的博客
12-05 96
                                           Hadoop集群搭建 配置安排：        node-1： NameNode  ResourceManager        node-2： SecondaryNameNode        node-3：        说明：这里集群由三台服务器组成。配置hadoop集群环境，其实需要配置hdfs...
Prometheus运维八 Exporter概述及容器黑盒监控
ZhanBiaoChina的博客
01-02 943
我们在主机上安装了一个Node Exporter程序，该程序对外暴露了一个用于获取当前监控样本数据的HTTP访问地址。这样的一个程序称为Exporter，Exporter的实例称为一个Target。Prometheus通过轮询的方式定时从这些Target中获取监控数据样本，并且存储在数据库当中。 在这一章节当中我们将重点讨论这些用于获取特定目标监控样本数据的程序Exporter。 ...
GPE监控多台MySQL_GPE监控预警系统（Grafana+Prometheus+Exporter）搭建
weixin_33599503的博客
02-06 559
GPE监控预警系统结构图 一： Grafana1：简介大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具、目前已经支持绝大部分常用的时序数据库。 Grafana支持许多不同的数据源。每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源。 官方支持以下数据源:Graphite，Elasticsearch，InfluxDB，Prometheus，Cl...
\"Hadoop集群监控与Hive高可用\"分享总结
04-22
NULL 博文链接：https://snv.iteye.com/blog/1946435
Hadoop从入门到上手企业开发
07-15
030 HDFS 架构讲解总结 031 回顾NameNode和DataNode 032 HDFS架构之Client和SNN功能 033 HDFS Shell 命令命令讲解和演示 034 讲解HDFS 文件读写流程 035 详解HDFS API之FileSystem方式基本操作一 036 HDFS Java API ...
Hadoop入门实战手册
08-22
1.1 ..................................................................................................4 什么是Hadoop？ 1.2 ................................................................................
Hive SQL语法总结
01-20
Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为...
Hadoop权威指南（中文版）2015上传.rar
10-12
监控 日志 度量 Java管理扩展（JMX） 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 ...
神经网络与量子计算的交叉研究.pptx
04-19
神经网络与量子计算的交叉研究.pptx
非线性端口 MEMS 麦克风的 Simscape 模型.zip
04-19
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
用于超声成像和仿真的 MATLAB 工具箱.zip
最新发布
04-19
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
HFI高频注入仿真—matlab.zip
04-19
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
informatica hadoop 教程
11-03
Informatica是数据集成和数据管理软件的领先提供商，...总结来说，Informatica Hadoop教程提供了一种学习如何使用Informatica软件和Hadoop集群进行大数据集成和管理的方法，帮助用户更好地利用大数据的价值和潜力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值