Kafka
jyj019
向着喜欢的道路前进
展开
-
关于Storm中Spout拉取和发送数据的一种优化思路
一般storm的open是作为配置加载项的,但是在实际的操作中也可以在open中从Kafka拉取数据,在nextTuple发送数据,这样减少了nextTuple中的资源消耗。这种方法的使用和线程相关,目前只能通过队列实现,用map等结构测试失败。 public void open(Map map, TopologyContext topologyContext, SpoutOutputCol...原创 2018-07-01 10:05:23 · 854 阅读 · 0 评论 -
关于Kafka的LEADER_NOT_AVAILABLE问题(kafka版本 0.10.1)
主要报错信息WARN Error while fetching metadata with correlation id 0 : {test_topic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) 猜测原因在集群中直接删除运行的Topic,补充:应该是该Topic在使用中(待验证)被直接删除...原创 2018-07-02 22:22:58 · 20946 阅读 · 0 评论 -
使KafKa每次读取消息到最新发送消息的解决方案
使KafKa每次读取消息到最新发送消息的解决方案(使用版本0.10.1.1)情景是使KafKa每次读取消息到最新发送消息,查了很多资料,对kafka的消费组和偏移量也有些研究,但本地与集群,不同版本都有不少不同之处。即使目前解决了该问题,仍有不少坑待填(之前想在这边放下关于消费组和偏移量的东西,但比较多比较杂,就开了一个新坑:https://blog.csdn.net/jyj1100/a...原创 2018-07-16 15:47:38 · 5368 阅读 · 1 评论 -
Kafka消费者的偏移量和高级/简单消费者
Kafka消费者的偏移量和高级/简单消费者提交和偏移量提交:更新分区的当前位置称为提交,当前版本(0.10.1.1)用topic ___consumer_offsets 保存提交的偏移量偏移量:消费者在Kafka追踪到消息在分区里的位置消费者在崩溃或者有新的消费者加入群组,就会触发再均衡。这是需要读取最后一次偏移量,然后从偏移量指定的地方继续处理。提交的偏移量小于真实的偏移量,消息...原创 2018-07-16 17:14:14 · 4613 阅读 · 2 评论 -
Kafka分区问题的记录
Kafka分区及相关的问题挺多的,目前就近期遇到的一些问题做一个总结。生产者:创建生产者时默认分区为0,也可以通过手动指定分区//默认ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, msg);//手动指定分区为1ProducerRecord<Stri...原创 2018-09-22 11:19:59 · 838 阅读 · 0 评论 -
Flink框架关于Kafka生产消费的实现demo
flink作为一个大数据框架,已经由阿里充分的证实了其性能和前景。但对国内仍然是一个比较陌生的状态,无论是开源的文档和实例都比较缺乏。之前找到的demo很多都是旧版本;同时flink本身面临版本演进,blink开源等一些影响,也会在之后出现一些比较大的变化。我根据目前的资料,编写了基于flink的Kafka生产消费demo,便于初步的了解flink的特性,也希望能对他人了解flink提供一些小小的帮助。以下demo是我根据一些其他的demo整合而成,引用申明见最下方。原创 2018-10-07 11:40:42 · 9905 阅读 · 17 评论 -
kafka指定偏移量拉取与偏移量半自动提交
离去年写了有关偏移量有关文章快一年了,但最近在偏移量方面遇到了些小问题,在这里记录下。还有关于偏移量半自动提交,是个很经典的问题,顺便也记录下。原创 2019-06-02 10:36:03 · 1857 阅读 · 0 评论