kafka
yisun123456
大数据开发、个性化推荐
展开
-
Kafka源码系列之Broker的IO服务及业务处理
一,kafka角色 Kafka源码系列主要是以kafka 0.8.2.2源码为例。以看spark等源码的经验总结除了一个重要的看源码的思路:先了解部件角色和功能角色,然后逐个功能请求序列画图分析,最后再汇总。那么,下面再啰嗦一下,kafka的角色。kafka在生产中的使用,如下图。 从图中可以看到其主要角色: 1,Zookeeper:Broker需要通过ZooKeep转载 2017-10-09 10:33:45 · 988 阅读 · 0 评论 -
彻底删除topic
1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2、Kafka 删除topic的命令是: ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafak转载 2017-10-09 09:50:39 · 878 阅读 · 0 评论 -
spark streaming 同时处理两个不同kafka集群的数据
如题,总是不那么完美,要处理的数据在两个不同的kafka集群里面,日子得过,问题也得解决,我们创建两个DStream,连接两个不同的kafka集群的不同topic,然后再把这两个DStream union在一起处理,代码如下: package com.kingnet import java.util import org.apache.spar...转载 2018-08-21 14:03:22 · 1796 阅读 · 0 评论