![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 53
Kafka
王坦.
王坦
土旦
半甜清粥
展开
-
storm笔记:Storm+Kafka简单应用
这几天工作需要使用storm+kafka,基本场景是应用出现错误,发送日志到kafka的某个topic,storm订阅该topic,然后进行后续处理。场景非常简单,但是在学习过程中,遇到一个奇怪的异常情况:使用KafkaSpout读取topic数据时,没有向ZK写offset数据,致使每次都从头开始读取。纠结了两天,终于碰巧找到原因:应该使用BaseBasicBolt作为bolt的父类,而不是Ba...转载 2020-04-13 09:30:36 · 1138 阅读 · 0 评论 -
kafka-client 版本兼容问题
背景最近遇到了 kafka server 和 kafka-client 的兼容性问题。研发环境用的 kafka 集群是 2.0.0,而程序使用的 kafka-client 版本是 0.10.1.1,发现生产消息报错。平台维护人员将 kafka 集群的消息格式修改成了 0.10.2 后,问题解决。遂记录下 kafka 版本兼容的问题。消息格式kafka 的消息格式有三种,详情参考 一文看懂Ka...原创 2020-04-02 17:22:05 · 16416 阅读 · 1 评论 -
kafka消息会不会丢失?为什么?看了这个你就清楚了
消息发送方式想清楚Kafka发送的消息是否丢失,需要先了解Kafka消息的发送方式。Kafka消息发送分同步(sync)、异步(async)两种方式默认是使用同步方式,可通过producer.type属性进行配置;Kafka保证消息被安全生产,有三个选项分别是0,1,-1通过request.required.acks属性进行配置:0代表:不进行消息接收是否成功的确认(默认值);1代表...转载 2020-03-26 17:17:53 · 1104 阅读 · 0 评论 -
Unable to get offset lags for kafka. Reason: java.lang.NullPointerException at org.apache.storm.kafk
问题信息Unable to get offset lags for kafka. Reason: java.lang.NullPointerException at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags (KafkaOffsetLagUtil.java:272) at org.apache.storm.ka...原创 2020-01-06 15:39:52 · 3058 阅读 · 0 评论