MQ
lishengping_max
专注大数据领域
展开
-
kafka彻底删除topic的两种方法
本文基于kafka0.9.0.1亲测有效,转载请说明!方法一:快速配置删除法1.kafka启动之前,在server.properties配置delete.topic.enable=true 2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除原创 2016-11-27 15:54:11 · 10449 阅读 · 0 评论 -
kafka-manager安装
一、功能 1.管理多个kafka集群 2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况) 3.选择你要运行的副本 4.基于当前分区状况进行 5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置del原创 2016-11-27 05:09:48 · 1230 阅读 · 0 评论 -
使用JMX监控Kafka
kafka版本:kafka_2.11-0.9.0.1kafka开启jmx分两个步骤1.启动设置JMX_PORT变量export JMX_PORT=9999;nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &2.设置jmx参数 修改bin/kafka-run-class.sh ,找到KAFKA_JMX原创 2017-11-30 20:09:32 · 4027 阅读 · 1 评论 -
Kafka数据清理配置
Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略 直接删除,删除后的消息不可恢复。可配置以下两个策略: 清理超过指定时间清理: log.retention.hours=16 超过指定大小后,删除旧的消息: log.retention.bytes=转载 2018-01-15 13:10:54 · 5136 阅读 · 0 评论 -
kafka常用运维命令
一、broker在每一台节点上启动broker nohup bin/kafka-server-start.sh config/server.properties & 停止 bin/kafka-server-stop.sh config/server.properties二、topic创建topic bin/kafka-topics.sh –create –zookeeper原创 2018-01-15 13:28:00 · 928 阅读 · 0 评论 -
kafka Java API开发问题记录
一、producer 发送消息异常2018-05-29 17:43:14,153 DEBUG [org.apache.kafka.clients.NetworkClient] - Error connecting to node 273 at hadoop03:9092:java.io.IOException: Can't resolve address: hadoop03:9092 ...原创 2018-05-29 18:35:27 · 859 阅读 · 0 评论 -
RocketMq使用异常解决记录
一、生产者创建报错The producer group[profile-adjust-limit-producer-group] has been created before, specify another name please.发送消息报错:com.alibaba.rocketmq.client.exception.MQClientException: The producer ...原创 2019-04-26 11:56:11 · 1199 阅读 · 0 评论