Cloudera Manager开启kafka JMX监控

最新推荐文章于 2024-07-11 17:44:41 发布
最新推荐文章于 2024-07-11 17:44:41 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： Kafka 文章标签： kafka jmx cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39447298/article/details/108362645
版权

在Cloudera Manager上创建了3节点的kafka集群服务，想要外部连接kafka JMX监控kakfa数据，需要修改kakfa配置：

-Dcom.sun.management.jmxremote.host=192.168.1.125
-Djava.rmi.server.hostname=192.168.1.125
在下图中修改上述两项配置，默认值为127.0.0.1，需要修改为节点的ip，JMX端口默认为9393。

在这里插入图片描述
修改完成后重启各个kakfa节点，使用jconsole连接JMX：
在这里插入图片描述
在这里插入图片描述

——————————————————————————————
本文为个人记录所用，如有侵权/错误，恳请指出 (╹▽╹)…

Troyong
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH kafka JMX 启动
jast
04-29 1960
服务正常启动 telnet 127.0.0.1 9393 就可以，直接 telnet ip 9393 就不通 我们查看CDH broker_java_opts 配置项 原内容为 -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16...
滴滴kafka-manager监控CDH版kafka(带kerberos认证)
qq_32068809的博客
12-18 929
对于CDH环境的kafka，并且带有kerberos认证的，部署kafka-manager时需要注意两点： 1、接入集群要用的安全协议配置 这里直接给个模板： { "security.protocol":"SASL_PLAINTEXT", "sasl.mechanism":"GSSAPI", "sasl.kerberos.service.name":"kafka", "sasl.jaas.config":"com.sun.security.auth.module.Krb5LoginMo...
如何使用JMX监控Kafka
热门推荐
朱小厮的博客
12-08 5万+
使用kafka做消息队列中间件时，为了实时监控其性能时，免不了要使用jmx调取kafka broker的内部数据，不管是自己重新做一个kafka集群的监控系统，还是使用一些开源的产品，比如yahoo的kafka manager, 其都需要使用jmx来监控一些敏感的数据。在kafka官网中 http://kafka.apache.org/082/documentation.html#monitori...
Grafana集成Cloudera Manager监控指南
weixin_40670099的博客
09-01 1233
Grafana集成Cloudera Manager监控指南 1 Cloudera Manager数据源 ●下载foursquare-datasource-plugin-clouderamanager-v0.9.2 cdh插件，解压插件到grafana的data/plugins目录下，重启grafana，开源的foursquare-datasource-plugin-clouderamanager-v0.9.2 cdh插件无法直接使用，会出现dateMath.parse is not function错.
kafka性能监控指标以及如何监控kafka性能
weixin_35756624的博客
02-12 1006
Kafka 性能监控指标包括： 吞吐量：消息生产速率和消息消费速率 延迟：消息从生产者到消费者的时间 空闲空间：分区剩余空间的大小 分区副本：副本的数量和分布情况 节点负载：CPU 利用率、内存使用率和网络流量 Kafka 性能监控可以通过使用内置的命令行工具或者使用第三方工具，例如：Kafka Manager、Grafana 等。 内置命令行工具：使用 Kafka 自带的命令行工具，如 k...
kafka开启JMX
weixin_46756664的博客
02-18 1996
kafka开启JMX
Cloudera Manager6.2.1及CDH最新版本安装全程记录
12-22
Cloudera Manager6.2.1
grafana-plugin-clouderamanager
12-28
grafana的cloudera manager插件，由于开源的grafana cdh插件在集成时会出现dateMath.parse is not a function问题，修复后可直接使用。本资源包是修复问题后的，可直接放到grafana plugins文件夹下，即可使用。
CLOUDERA-Manager_中文手册（全 高清）+ CDH安装手册.pdf
03-12
* 集群及服务实时监控：Cloudera Manager提供了实时的监控功能，能够实时监控Hadoop集群的状态。 * 节点级别监控：Cloudera Manager提供了节点级别的监控功能，能够监控每个节点的状态。 * 自定义报警监控：Cloudera...
Cloudera Manager大数据平台视频教程
06-23
Cloudera Manager大数据平台视频教程 特点如下： 统一化的可视化界面 自动部署和配置，大数据各类组件安装、调优极其便捷 零停机维护（免费版本不具有弹性升级） 多用户管理（权限控制，支持ldap） 稳定性极好（部分...
ClouderaManager和CDH4终极安装
02-26
操作系统：CentOS6.5ClouderaManager版本：4.8.1CDH版本：4.5.0各机器准备工作：Cloudera-manager压缩包地址：http://archive.cloudera.com/cm4/cm/4/cloudera-manager-el6-cm4.8.1_x86_64.tar.gzCDH下载地址：...
kafka集群中jmx端口设置
weixin_34208283的博客
07-06 1080
jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999" if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export JMX_PORT="9999" ...
CDH 中 kafka 的使用注意
あずにゃん梓喵的博客
03-14 3942
================== 非CDH中使用kafka ======================== 1.kafka 创建 topic cd /root/kafka 1.格式：bin/kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 副本数 --part...
3. kafka开启JMX
阿飞Javaer的专栏
06-25 2万+
开启JMX kafka开启JMX的2种方式： 1. 启动kafka时增加JMX_PORT=9988，即JMX_PORT=9988 bin/kafka-server-start.sh -daemon config/server.properties 2. 修改kafka-run-class.sh脚本，第一行增加JMX_PORT=9988即可。 事实上这两种配置方式背后的原理是一样的，我们看...
基于cdh的Kafka+Flume配置（详细，成功运行）
lukabruce的博客
07-23 6838
目 录 一 Kafka 1 1 版本选择 1 2 集群搭建规划 1 3 修改Kafka相关配置文件 1 4 配置全局变量 1 5 启动Kafka集群 2 6 测试数据 3 二 Flume 5 1 版本选择 5 2修改Flume相关配置文件 5 3 配置全局变量 6 4 启动Flume 6 5 测试数据 7 三 Flume + Kafka测试启动命令 10 1 Flu...
Kafka监控之Kafka Manager
ITBOY_ITBOX博客
05-16 454
1.上传压缩包kafka-manager-1.3.3.15.zip到集群 2.解压到/opt/module 3.修改配置文件conf/application.conf kafka-manager.zkhosts="kafka-manager-zookeeper:2181" 修改为： kafka-manager.zkhosts="hadoop102:2181,hadoop103:218...
CDH 版本 Kafka 外网设置
jast
06-08 1619
登陆CDH页面，进入Kafka配置页面 搜索 advertised 修改advertised.host.name，这里我们有三台Broker，我们把每台的外网ip填写到对应的机器上 advertised.port不填写 我们kafka的端口设置的是9099 将外网端口9099开放，允许外网访问 （这里不做介绍，一般公司运维来操作） 在本地启动测试程序直接消费kafka，成功...
python连接kafka生产者发送消息
最新发布
weixin_45531218的博客
07-11 145
同时发送msg和key时，有时会报错key_bytes不属于字节类型，于是就手动把json内容改成字节型，在发送。通过pip install kafka-python安装第三方工具。再导入相应的方法就可以连接kafka进行消息发送了。
介绍一下大数据监控平台 cloudera manager， ambari
04-05
Cloudera Manager和Ambari都是大数据监控平台，可以帮助用户在大数据环境中管理和监控各种数据工具和应用程序。 Cloudera Manager是一种基于Web的应用程序，允许用户轻松地监控、管理和维护Hadoop集群。Cloudera Manager提供了一种统一的视图，让用户可以在一个地方查看Hadoop集群的运行状况、性能和可用性。此外，Cloudera Manager还提供了诸如节点管理、配置管理、安全管理、诊断和故障排除等功能。 Ambari是Apache Hadoop的一个子项目，提供了一种易于使用的Web界面，可以帮助用户管理和监控Hadoop集群。Ambari支持多种Hadoop发行版，包括Hortonworks、Cloudera和MapR等。Ambari提供了一个集中式的管理工具，可以管理Hadoop集群中的各种服务和组件，比如HDFS、YARN、MapReduce、Hive、Pig等。Ambari还提供了一种自动化部署和配置的功能，可以让用户轻松地部署和配置Hadoop集群。 总的来说，Cloudera Manager和Ambari都是大数据监控平台，可以帮助用户在大数据环境中管理和监控各种数据工具和应用程序。两者的功能略有不同，用户可以根据自己的需求选择适合自己的监控平台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值