kafka
passer199101
这个作者很懒,什么都没留下…
展开
-
Producer Example
https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+Producer+Example转载 2015-01-26 18:27:37 · 532 阅读 · 0 评论 -
Path must not end with / character
这个问题可能是kafka的topic是null,或者无效的. http://blog.csdn.net/ado1986/article/details/50147693原创 2016-05-10 18:45:12 · 3497 阅读 · 0 评论 -
Kafka 设计与原理详解(一)
http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=2650342597&idx=1&sn=ec3bde92ae548a587bf8f7a53a060de7&scene=0#rd原创 2016-05-10 18:55:27 · 547 阅读 · 0 评论 -
多个consumer使用同一个group.id消费同一个topic
只会有一个consumer能够读取到数据, 其它的consumer是无法消费到数据的. 谁要是知道怎么做,恳请告知!原创 2016-05-03 23:26:12 · 13747 阅读 · 3 评论 -
多个程序向同一个kafka topic写入数据
经测试, 在多个程序同时向同一个kafka topic中写入数据, 不会出现数据冲突或者丢失的情况.测试数据:向kafka中写数据program instance 1 : 10000条数据 program instance 2 : 10000条数据 program instance 3 : 10000条数据同时启动上述3个程序, 程序每次写完一条数据,sleep 50ms.从kafka中读取数据原创 2016-05-03 23:27:26 · 8195 阅读 · 2 评论 -
kafka的理解
探讨kafka的分区数与多线程消费原创 2016-05-03 23:28:07 · 373 阅读 · 0 评论 -
kafka consumer需要kafka的ip和主机名
kafka consumer所在的机器一定要配置其他kafka节点的ip和主机名,要不然会一直报错原创 2016-06-12 11:19:30 · 10711 阅读 · 1 评论 -
Kafka集群部署
下边的这篇文章写的太好了,我就不在赘述 http://www.cnblogs.com/wxisme/p/5196302.html原创 2016-11-04 16:13:03 · 289 阅读 · 0 评论 -
spark stream上创建对象实例
kafkaStream.foreachRDD { rdd => rdd.foreachPartition { partition => //每次在这里创建一个kafka producer实例是不可取的 } }上边的方式会造通过kafka producer发送的数据部分丢失. 应该用如下的方式, 下边的这种方原创 2017-06-06 15:00:50 · 459 阅读 · 1 评论 -
Couldn't find leader offsets for Set news_topic
kafka topic must contain at least one message before the DirectStream creationhttp://apache-spark-developers-list.1001551.n3.nabble.com/Exception-using-the-new-createDirectStream-util-method-td1原创 2015-12-04 11:37:43 · 4863 阅读 · 0 评论 -
查看kafka的版本
查看kafka中libs包中jar文件的版本号即可http://stackoverflow.com/questions/27606065/how-to-find-the-kafka-version-in-linux原创 2015-12-18 11:29:28 · 15448 阅读 · 0 评论 -
apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
http://blog.csdn.net/lizhitao/article/details/25301387转载 2015-10-28 11:12:53 · 1323 阅读 · 0 评论 -
kafka get started中遇到的问题
1.保证虚拟机上的kafka,java,scala的版本和开发环境中的环境都相同,使用的都是同一个版本2.在我的本地(开发环境使用的是windows7)配置hosts10.111.22.230 centos13.在虚拟机上配置hosts127.0.0.1 localhost10.111.22.230 centos1 配置完之后重启虚拟机原创 2015-01-29 14:12:08 · 519 阅读 · 0 评论 -
kafuka get started
http://kafka.apache.org/07/quickstart.html转载 2015-01-26 13:43:41 · 661 阅读 · 0 评论 -
Kafka部署与代码实例
http://shift-alt-ctrl.iteye.com/blog/1930791转载 2015-05-07 11:12:29 · 733 阅读 · 0 评论 -
kafka auto.offset.reset介绍
http://shift-alt-ctrl.iteye.com/blog/1930791kafka + zookeeper,当消息被消费时,会想zk提交当前groupId的consumer消费的offset信息,当consumer再次启动将会从此offset开始继续消费.在consumter端配置文件中(或者是ConsumerConfig类参数)有个"autooffset.re转载 2015-05-07 11:15:46 · 31805 阅读 · 0 评论 -
kafka I wrote this conflicted ephemeral node
https://issues.apache.org/jira/browse/KAFKA-1451The broker does not become available due to being stuck in an infinite loop while electing leader. This can be recognised by the following line be原创 2015-06-25 11:36:29 · 2960 阅读 · 0 评论 -
kafka 集群运维和使用
转自: http://blog.csdn.net/qiaochao911/article/details/40920645最近在维护kafka集群,遇到了很多问题都需要记录下:集群信息:12台服务器,每台机子12块盘每块1.8T,其中6台做RAID,6台使用12块盘,64G内存,CPU24核,万兆网卡。集群每天写入的消息量能到每天33亿条消息,消费暂时还没有统计(通转载 2015-07-10 10:11:00 · 2314 阅读 · 1 评论 -
KafKa error java.nio.channels.UnresolvedAddressException
在开发所在的windows的hosts上没有配置kafka的ip和hostname的映射原创 2015-08-11 16:26:26 · 3071 阅读 · 0 评论 -
Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
http://www.iteblog.com/archives/1381转载 2015-08-19 14:52:14 · 810 阅读 · 0 评论 -
kafka数据同步/镜像工具 kafka mirror maker
http://blog.csdn.net/rkjava/article/details/51771466原创 2017-09-11 18:00:55 · 1259 阅读 · 1 评论