![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
yu_liantao
这个作者很懒,什么都没留下…
展开
-
kafka个人琐碎笔记
1.kafka处理实时应用和持续流数据(大数据流管道),可以订阅和发布数据流,集群并且可以存储数据。与传统的消息中间件不同的是消息中间件只是传递消息,而它是流的方式处理。Hadoop是大数据的数据分析,kafka是流的方式实时处理。与etl相比除了把数据移动到另外一个地方外还能在移动过程中触发其他数据流应用。总结为流平台系统。 2.存储单元为消息是二进制,并且传输是以批次进行(同一个主题和同一个分...原创 2018-08-14 15:06:16 · 147 阅读 · 0 评论 -
Kafka 0.9 新消费者API
Kafka 0.9 新消费者API kafka诞生之初,它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如,消费者有一个“高级”API支持分组和异常控制,但是不支持很多更复杂的应用场景;它也有一个“低级”API,支持对细节的完全控制,但是要求码农自己控制失败和异常。所以重新设计了它们。 这个过程的第一阶段就是在0.8.1版本的时候重写了生产者API。...转载 2018-08-13 16:40:21 · 309 阅读 · 0 评论