kafka
文章平均质量分 52
Nougats
这个作者很懒,什么都没留下…
展开
-
kafka 指定partition两种方式&Consumer不消费消息的几个原因
需求1.随机生成IP数字,将奇数、偶数数据分在不同的Partition 2.通过KafkaAPI实现一个消费组中多消费者,为了是验证同组的不同消费者是否一一对应不同的Patition 3.打包部署在Linux中运行解决办法方法1: 在producer发送消息时指定partition,ProducerRecord的构造方法可以有四个参数,分别是topic,int类型的partition值,key原创 2017-05-11 11:11:21 · 22845 阅读 · 2 评论 -
kafka 常用操作
kafka_consumer_groups.sh原创 2017-05-11 09:52:28 · 783 阅读 · 0 评论 -
flume 自定义kafka sink运行失败:找不到Callback
运行报错,提示找不到Callback 官网的代码中的确引入了Callback 怀疑是flume版本的问题,flume1.6支持kafka_2.10-0.8.1.1版本,而flume1.7支持kafka_2.10-0.9.0.1版本 为此特意查看了flume中关于kafka的jar包,发现1.6版本果然没有Callback这个类,而在1.7版本的指定路径下的确含有Callback,所以应该是在m原创 2017-05-10 22:56:16 · 1689 阅读 · 0 评论