【大数据技术详解】kafka集群中选择采用 “同group多consumer”+“同consumer多Thread”的方式来更好的来消费productor产生的数据

最新推荐文章于 2024-04-21 02:36:48 发布
最新推荐文章于 2024-04-21 02:36:48 发布
阅读量300 收藏 1
点赞数 1
分类专栏： 物联网&大数据知识的思考，总结和拓展 文章标签： kafka 大数据 thread group consumer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuchunhang/article/details/103508159
版权
本文介绍了如何优化Kafka数据消费，包括使用多个consumer组成一个consumer group（数量小于等于partition数量），一个consumer搭配多线程处理事件，以及两者结合的方式。讨论了各种方式的优缺点，强调实际应用中需根据业务需求选择合适策略。
摘要由CSDN通过智能技术生成

一如何更好的消费数据

1多个consumer, 一个consumer group,数量小于等于partition的数量

1 一个Consumer group,多个consumer,数量小于等于partition的数量
每个consumer都要维护一个独立的TCP连接，如果分区数和创建consumer线程的数量过多，会造成不小系统开销。但是如果处理消息足够快速，消费性能也会提升,如果慢的话就会导致消费性能降低。

2一个consumer,多线程处理事件

2一个consumer,多线程处理事件
采用一个consumer，多个消息处理线程来处理消息，其实在生产中，瓶颈一般是集中在消息处理上的(可能会插入数据到数据库，或者请求第三方API)，所以我们采用多个线程来处理这些消息。

3当然可以结合第一二种方式，采用多consumer

了解本专栏 订阅专栏 解锁全文
牵牛刘先生
关注
专栏目录
订阅专栏
kafka详解
misaka___的博客
10-07 677
1.Kafka独特设计在什么地方？ 2.Kafka如何搭建及创建topic、发送消息、消费消息？ 3.如何书写Kafka程序？ 4.数据传输的事务定义有哪三种？ 5.Kafka判断一个节点是否活着有哪两个条件？ 6.producer是否直接将数据发送到broker的leader(主节点)？ 7.Kafa consumer是否可以消费指定分区消息？ 8.Kafka消息是采用Pull模式，还是Push模式？ 9.Procuder API有哪两种？ 10.Kafka存储在硬盘上的消息格式是什么？ 一、基本概念 介
Kafka多个Consumer
qq_31776303的博客
06-05 909
1.同一个group 两个Consumer会均衡消费分区，例如5个分区,partition_count不能大于5， Consumer1 消费0-2分区，Consumer消费3-4分区； m_conf = rd_kafka_conf_new(); rd_kafka_conf_set_rebalance_cb(m_conf,rebalance_cb);2.不同group这个情况我没用使用过，但是网上有...
同时两个线程生产，同时两个线程消费；
qq_32521381的博客
04-30 216
需求：同时两个线程生产口罩，同时两个线程消费口罩，且必须生产了之后才能消费； 方法一 ： 添加同步代码块 class ProductConsumerDemo { public static void main(String[] args) { Mask k = new Mask(); //这里所有的Runnable都传入了同一个参数k，是为了保证标志...
kafka学习总结（处理多个consumer只消费topic数据一次）
phymat.nico的专栏
08-18 517
https://blog.csdn.net/zhaishujie/article/details/71713794 https://blog.csdn.net/u013573133/article/details/48142677 https://www.orchome.com/5
对线程的基本理解（3）
weixin_51369307的博客
08-24 159
java中有三种停止线程方法： 1)使用退出标志，使线程正常退出，也就是当run方法完成后线程终止。 2）使用stop方法方法强行终止线程，但是不推荐使用这个方法，应为stop不安全而且已经被废弃的方法，还有suspend和resume都是废弃的方法。 3）使用interrupt方法中断线程。 interrupt()方法 仅仅使线程中打了一个停止的标记，并不是真的停止线程。 this.interrupted() 测试当前线程是否已经中断。 this.isInterrupted()测试线程是否已经
多线程之Producer-Consumer模式
方方园园的博客
05-18 454
感觉跟Guarded Suspension模式有点象，也是个生产消费的关系 package com.example.demo.produce; public class Main { public static void main(String[] args) { Table table = new Table(3); new MakerThread("MakerThread-1", table, 31415).start(); new Ma
kafka Consumer Group
weixin_39034379的博客
08-24 982
kafka Consumer Group 注：本文主要参考极客时间专栏 Kafka核心技术与实战 1.Consumer Group 作用： Consumer Group 是kafka提供的可扩展且具有容错性的机制。 Consumer Group 图解如下： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y4HhRbNW-1598233269215)(/Users/zy1994/Library/Containers/com.tencent.xinWeChat/Data/Libr
字节架构师：来说说 Kafka 的消费者客户端详解，你都搞懂了吗？
最新发布
2401_84049200的博客
04-21 789
对于 Kafka 的分区来说，它的每条消息都有唯一的偏移量，用来展示消息在分区中对应的位置，它是一个单调递增的整数。在 0.9 版本之后 Kafka 的偏移量是存储在 Kafka 的 _consumer_offsets 主题中。消费者在消费完消息之后会向 这个主题中进行 消费位移的提交。消费者在重新启动的时候就会从新的消费位移处开始消费消息。因为，位移提交是在消费完所有拉取到的消息之后才执行的，如果不能正确提交偏移量，就可能发生数据丢失或重复消费。
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-02 633
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
kafka 基于注解配置 单个应用实例创建多个 consumer线程，消费多个分区
weixin_40747900的博客
01-24 3399
需求说明: 根据kafka的生产消费模型，kafka的topic可以创建成多个分区，一个消费者组内，一个消费者是可以对应多个分区的，但是通常出于性能考虑，最好让一个分区能对应到一个consumer。 一种实现思路是：topic有多少个分区，然后consumer节点就启动多少个，这样多少会有些浪费。如果是微服务应用，这个应用只做消费数据这一件事情，分配1-2个G的内存资源还是有些浪费的。 另外一种思路就是：单个应用实例启动多个线程，然后多个线程分别对应一个分区。 代码配置实现 这里使用 spring-kafk
kafka 多消费者实现
u012447842的博客
12-05 1万+
kafka官网：http://kafka.apache.org/quickstart 目录 kafka简单介绍： 实现方式 1：kafka分区 2: 实现结果 3：kafka的consumer代码 4:kafka生产者 kafka简单介绍（网上找的）： 实现方式 必要条件： kafka配置： > b...
如何选择Kafka的分区数和消费者个数
热门推荐
走向程序的康庄大道
06-06 2万+
Kafka的分区数是不是越多越好？一条消息如何知道要被发送到哪个分区？Consumer个数与分区数有什么关系？
Java线程深入学习(三)
xxyneymar的博客
09-22 102
第四章、线程间通信 4.1 等待/通知机制 4.1.1 什么是等待通知机制 在单线程编程中，要执行的操作需要满足一定的条件才能执行，可以把这个条件放在if语句块中。而在多线程编程中，可能线程A的条件没有满足，但是这种情况只是暂时的，稍后其他的线程B可能更新条件使得线程A的条件得到满足，此时可以将线程A暂停，直到它的条件得到满足后再将线程A唤醒，这个步骤的伪代码： atomics{ //原子操作 while(条件不成立){ ...
kafka 消费者组
zhaoyangjian724的专栏
12-20 2079
每个分区只能由同一个消费者组内的一个 Consumer 实例来消费 Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程， 也可以是同一进程下的线程。在实际场景中，使用进程更为常见一些。 Consumer Group 下所有实例订阅的主题的单个分区，只能分配给组内的某个 Consumer 实例消费。这个分区当然也可以被其他的 Group 消费。 如果所有实例都属于同一个 Group，那么它实现的就是消息队列模型； 如果所有实例分别属于不同的 G
Kafka消费者——消费者客户端多线程实现
6。
12-07 1269
目录 消费者客户端多线程实现 消费者客户端多线程实现 KafkaProducer 是线程安全的，然而 KafkaConsumer 却是非线程安全的。KafkaConsumer 中定义了一个 acquire() 方法，用来检测当前是否只有一个线程在操作，若有其他线程正在操作则会抛出 ConcurrentMo...
Kafka消费组(consumer group)
weixin_33713503的博客
12-26 5159
一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念，希望能把consumer这点事说清楚，从而对广大使用者有所帮助。 在开始之前，我想花一点时间先来明确一些概念和术语，这...
Kafka Consumer多线程实例
我只是一个简单的Coder，为了兴趣和理想奋斗在生活的道路上
06-08 6805
Kafka 0.9版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个利用KafkaConsumer编写的多线程消费者实例，希望对大家有所帮助。    这套API最重要的入口就是KafkaC...
KafkaConsumer详解：ConsumerGroup与HighLevelConsumer
为了实现类似传统消息队列（MessageQueue）中消息仅被消费一次的语义，Kafka通过ConsumerGroup和offset管理来确保消息的唯一消费。这意味着每个消息在同一个ConsumerGroup中只会被一个消费者消费一次，即使消息被多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

牵牛刘先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值