![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
kafka知识点记录,温故知新
stuliper
这个作者很懒,什么都没留下…
展开
-
kafka offset 机制
kafka消息处理类:MessageAndOffset case class MessageAndOffset(message: Message, offset: Long) { /** * Compute the offset of the next message in the log */ def nextOffset: Long = offset + 1 } ...原创 2018-08-30 09:24:32 · 4559 阅读 · 3 评论 -
python-kafka pykafka
kafka-python from kafka import KafkaConsumer,TopicPartition,OffsetAndMetadata consumer = KafkaConsumer("wd-prd-data-test", group_id="wd_prd_info_group", ...原创 2021-07-13 17:23:03 · 231 阅读 · 0 评论 -
基于kafka-0.8.2.2 数据安全处理
当前使用的kafka-0.8.2.2 没有安全管理模块 kafka-manager没有安全管理模块,通过nginx反向代理、用户认证来实现安全管理 做相应的网络安全限制,对外桌面服务可以直接访问nginx服务器,而无法访问部署kafka-mannager的主机(限制端口) 方式1:基于kafka-0.8.2.2 开发管理模块 对SSL,kerberos,zookeeper分布式鉴权方方式做了些了...原创 2018-09-14 17:19:38 · 324 阅读 · 0 评论 -
kafka leader 选举
Controller leader 在Kafka早期版本,对于分区和副本的状态的管理依赖于zookeeper的Watcher和队列:每一个broker都会在zookeeper注册Watcher,所以zookeeper就会出现大量的Watcher, 如果宕机的broker上的partition很多比较多,会造成多个Watcher触发,造成集群内大规模调整;每一个replica都要去再次zookee...原创 2019-03-19 14:12:29 · 1815 阅读 · 0 评论