![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
分析
一枚小兵
这个作者很懒,什么都没留下…
展开
-
kafka副本调整及分区数据迁移
topic分区数据转移 往往在生产系统中,涉及到kafka broker的扩容和缩容操作(减少broker) 针对缩容操作,这里主要用到的就是partition的重分区 实施方案 1.准备 topic列表 (需要移除的topic list) eg: topics_to_move.json {"topics": [{"topic":"dw-topic1"},{"topic":"dw-topic2"}], "version": 1} kafka bin目录下,执行 sh kafka-reassign-原创 2020-05-09 13:08:04 · 1821 阅读 · 0 评论 -
kafka增加监控功能
目录: kafka-exporter 安装 1.kafka-exporter安装 #wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz # tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz # cd kafka_exporter-1.2.0.linux-amd64.原创 2020-05-09 11:36:05 · 425 阅读 · 0 评论 -
kafka集群搭建及踩坑记录
目录: zookeeper集群搭建 kafka集群搭建 踩坑记录 1. zookeeper集群搭建 准备三台服务器,我们暂且命名为server1; server2;server3 在server1集群上,新建目录/data/zookeeper; 网上下载apache-zookeeper-3.5.7-bin.tar.gz 安装包 (这里有个点要注意,在走zookeeper3.5.5 及以上版本时,下载安装包需要下载带有-bin的安装包) 解压zookeeper安装包,目录apache-zookee原创 2020-05-08 23:27:27 · 437 阅读 · 0 评论 -
kafka-day01 初识kafka
1.介绍: 消息系统:kafka作为一款消息中间件系统,具备有系统解耦,冗余存储,流量控制,缓冲,异步通讯,扩展性及可恢复性等功能;可以保障分区消息的顺序性及回溯消费功能 存储系统:kafka消息持久化到磁盘,较其他内存存储系统而言,有效的降低了数据丢失的风险;kafka提供了多副本机制 流数据处理平台:kafka可作为流式计算框架的可靠数据来源 2. 关键词 Producer: Con...原创 2020-01-03 09:38:14 · 192 阅读 · 0 评论