Kafka
Eric-L90
New year,New life
展开
-
kafka原理以及安装
两篇介绍kafka不错的博客,讲的非常详细了。http://www.aboutyun.com/thread-9341-1-1.htmlhttp://www.linuxidc.com/Linux/2014-01/94682.htmhttp://www.tuicool.com/articles/RNbU32Bhttp://www.cnblogs.com/sunxucool/p/3913转载 2015-11-02 15:32:42 · 551 阅读 · 0 评论 -
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
今天在写kafka的producer的时候遇到以下错误:kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90)at ka原创 2015-12-02 15:37:11 · 2460 阅读 · 0 评论 -
kafka 自定义生产者示例
代码如下:public class SendMessage { /** * 自定义kafka生产者demo */ public static void main(String[] args) { Properties props = new Properties(); //zookeeper地址 props.put("zookeeper.connect", "zoo1:原创 2015-12-02 15:51:11 · 1215 阅读 · 0 评论 -
kafka创建topic报错:KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids
同事新搭建了一个kafka集群,在创建topic的时候遇到错误:执行:./kafka-topics.sh --zookeeper linux1:2181 --create --topic test --replication-factor 1 --partitions 1报错:rror while executing topic command org.apache.zookeeper原创 2016-04-08 13:06:37 · 21678 阅读 · 5 评论 -
kafka0.9新特性
一、安全特性在0.9之前,Kafka安全方面的考虑几乎为0,在进行外网传输时,只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点,让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面,主要有以下方面设计:客户端连接borker使用SSL或SASL进行验证borker连接ZooKeeper进行权限管理数据传输进行加密(需要考虑性能方面的影响)客户端读、写操转载 2016-04-28 10:28:47 · 1565 阅读 · 0 评论 -
kafka消费者报错:Failed to add leader for partitions
最近遇到过这种错误两次了,通过describe来看的时候是正常的,但是总会报错,猜测试网络问题。果不其然,一次是一台kafka的机器的防火墙没有关掉,关掉之后就ok了。另外一次是因为工程把主机配置localhost后面了。这样的话,导致kafka总是去127.0.0.1通讯,导致报错。去掉hosts文件中127.0.0.1后面的主机名配置就可以了。比如127.0.0.1 local原创 2016-06-07 15:05:16 · 12237 阅读 · 1 评论 -
kafka java 生产消费程序demo示例
kafka是吞吐量巨大的一个消息系统,它是用scala写的,和普通的消息的生产消费还有所不同,写了个demo程序供大家参考。kafka的安装请参考官方文档。首先我们需要新建一个maven项目,然后在pom中引用kafka jar包,引用依赖如下: org.apache.kafka kafka_2.10 0.8.0转载 2016-11-15 20:33:11 · 2049 阅读 · 0 评论