![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
cloudera首席用户
程序员一枚,请多指教
展开
-
streaing-kafka
Kafka-消费模型 High Level Consumer API 不需要自己管理offset 默认实现最少一次消息传递语义(At least once) comsumer数量 大于 partiton数量, 浪费。 comsumer数量 小于 partiton数量, 一个comsumer对应多个partiton 最好partiton数目是consumer数目的整数倍 Low Level Cons...原创 2019-01-15 20:01:28 · 129 阅读 · 0 评论 -
Kafka学习笔记
1、Kafka是什么(了解) 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕...原创 2019-01-15 20:04:08 · 790 阅读 · 1 评论 -
kafka常见问题
1、如果想消费已经被消费过的数据 consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,那你连一条数据都抓不到,但是log文件中明明可以看到所有数据都好好的存在。换句话说,一旦你消费过这些数据,那你就无法再次用同一个groupid消费同一组数据了。 原因:消费者消费了数据并不从队列中移...原创 2019-01-15 20:05:37 · 371 阅读 · 0 评论