![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
IT老男人
这个作者很懒,什么都没留下…
展开
-
Kafka Consumer接口
对于kafka的consumer接口,提供两种版本,high-level一种high-level版本,比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset参考, https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example...原创 2015-05-08 10:09:00 · 138 阅读 · 0 评论 -
Apache kafka原理与特性(0.8V)
前言: Kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka。一...原创 2015-07-21 23:05:40 · 96 阅读 · 0 评论 -
Kafka JAVA客户端代码示例
介绍 http://kafka.apache.org kafka是一种高吞吐量的分布式发布订阅消息系统 kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态) 当前很多的消息队列服务提供...原创 2015-07-22 20:02:08 · 196 阅读 · 0 评论 -
apache kafka源码分析-Producer分析---转载
原文地址:http://www.aboutyun.com/thread-9938-1-1.html问题导读1.Kafka提供了Producer类作为java producer的api,此类有几种发送方式?2.总结调用producer.send方法包含哪些流程?3.Producer难以理解的在什么地方?producer的发送方式剖析Kafka提供了Producer类作为java produ...原创 2015-07-22 20:15:02 · 106 阅读 · 0 评论 -
KafkaSpout之PartitionManager
标签:KafkaSpout的核心逻辑都是由PartitionManager来实现的。但是这个类实现时候需要考虑的东西有些多,0.92至0.93,至当前(2015.3.14)的master一直在变化。在这里,先分析一下最近的发布版0.93里的逻辑。也提出一些问题,希望以后Apache Storm会把这个类实现地更完美一些。PartitionManager的主要功能Partitio...原创 2016-01-26 13:07:02 · 235 阅读 · 0 评论