kafka之simpleConsumer

最新推荐文章于 2024-03-24 07:13:14 发布
最新推荐文章于 2024-03-24 07:13:14 发布
阅读量598 收藏
点赞数
分类专栏： kafka 文章标签： kafka
Kafka提供了两套API给Consumer
  1. The high-level Consumer API
  2. The SimpleConsumer API     

第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情

  • 一个消息读取多次
  • 在一个处理过程中只消费Partition其中的一部分消息
  • 添加事务管理机制以保证消息被处理且仅被处理一次

使用SimpleConsumer有哪些弊端呢？

  • 必须在程序中跟踪offset值
  • 必须找出指定Topic Partition中的lead broker
  • 必须处理broker的变动

使用SimpleConsumer的步骤

  1. 从所有活跃的broker中找出哪个是指定Topic Partition中的leader broker
  2. 找出指定Topic Partition中的所有备份broker
  3. 构造请求
  4. 发送请求查询数据
  5. 处理leader broker变更
爪爪的瓜瓜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka SimpleConsumer使用
weixin_45101742的博客
09-13 295
kafka SimpleConsumer使用
Kafka详解五、Kafka Consumer的底层API- SimpleConsumer
热门推荐
Heaven Wang 的专栏
08-18 1万+
Kafka提供了两套API给Consumer The high-level Consumer APIThe SimpleConsumer API      第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情 一个消息读取多次在一个处理过程中只消费Partiti
RocketMQ之SimpleConsumer消费者
最新发布
Lyhdreamer的博客
03-24 924
RocketMQ之SimpleConsumer
RocketMQ 的消费者类型详解与最佳实践
阿里巴巴云原生的博客
11-30 1841
在 RocketMQ 5.0 中，更加强调了客户端类型的概念，尤其是消费者类型。为了满足多样的 RocketMQ 中一共有三种不同的消费者类型，分别是 PushConsumer、SimpleConsumer 和 PullConsumer。不同的消费者类型对应着不同的业务场景。
Kafka（五）Kafka的API操作和拦截器
weixin_42073629的博客
10-03 374
一 kafka的API操作 1.1环境准备 1）在eclipse中创建一个java工程 2）在工程的根目录创建一个lib文件夹 3）解压kafka安装包，将安装包libs目录下的jar包拷贝到工程的lib目录下，并build path。 4）启动zk和kafka集群，在kafka集群中打开一个消费者 [root@node21 kafka]$ bin/kafka-console-consumer.sh --zookeepernode21:2181,node22:2181,node23:218..
kafka的安装和简单使用
11-19
Kafka 的强大之处在于其可扩展性和灵活性，可以应用于日志收集、数据集成、实时处理等多种场景。在实际应用中，你可能还需要关注更多高级特性，如消费者组、offset 管理、幂等性生产者、Kafka Connect 和 Kafka ...
Kafka常见问题1
08-08
如果需要更精确的控制，可以使用`SimpleConsumer`，并通过`OffsetRequest.EarliestTime()`或`OffsetRequest.LatestTime()`方法指定时间范围。 4. **Kafka分区与消费者数量的关系** 分区和消费者数量的平衡直接影响...
kafka 安装学习
04-12
public class SimpleConsumer { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test"); props....
maven-kafka
06-14
public class SimpleConsumer { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test"); props....
kafka监控获取指定topic的消息总量示例
09-18
以下是一个简单的Java程序，使用`kafka.javaapi.consumer.SimpleConsumer`类来获取指定topic的消息总量： ```java import kafka.api.PartitionOffsetRequestInfo; import kafka.common.TopicAndPartition; import ...
RocketMQ Consumer
qq_18950983的博客
11-21 131
MQS，消费者，文档阅读
kafka工具包指南-翻译
扎克begod的专栏
11-25 392
Consumer Offset Checker          This tool has been removed in Kafka 1.0.0.  Use kafka-consumer-groups.sh to get consumer group details.          Displays the:  Consumer Group, Topic, Partitions, Of...
10. kafka SimpleConsumer Consumer
sun
03-05 4401
为什么使用SimpleConsumer？ 使用SimpleConsumer实现的主要原因是你想要更好地控制分区消耗比消费者组给你。 例如，您想要： 多次读取消息仅消耗进程中某个主题的分区的子集管理事务以确保邮件仅处理一次且仅处理一次 使用SimpleConsumer的缺点 SimpleConsumer需要在消费者组中不需要大量的工作： 您必须跟踪应用程序中的偏移
SimpleProducer应用程序和SimpleConsumer应用程序
野蛮生长的小骑士
07-17 1111
在创建应用程序之前，首先启动ZooKeeper和Kafka代理，然后使用create topic命令在Kafka代理中创建自己的主题（这里我用Demo）。 之后，创建一个名为 SimpleProducer.java 的java类，然后键入以下代码。 //import util.properties packages import java.util.Properties; //impor...
Kafka Simple Consumer
weixin_34162401的博客
06-16 204
2019独角兽企业重金招聘Python工程师标准>>> ...
Kafka SimpleConsumer——buffersize?fetchsize?
WangQYoho的博客
03-06 2722
感觉网上关于Kafka的资料特别少，在用Kafka0.8.2的low level API的时候遇到了SimpleConsumer和Fetch的初始化的时候碰到了几个size的设置，一直不知道设置对消费的影响： 第一个是初始化SimpleConsumer时候的倒数第二个参数buffersize SimpleConsumer consumer = new SimpleConsumer(lead
【Kafka十三】Kafka Simple Consumer
bit1129的博客
04-13 265
代码中关于Host和Port是割裂开的，这会导致单机环境下的伪分布式Kafka集群环境下，这个例子没法运行。 实际情况是需要将host和port绑定到一起，   package kafka.examples.lowlevel; import kafka.api.FetchRequest; import kafka.api.FetchRequestBuilder; import k...
Kafka Consumer的底层API- SimpleConsumer
chongxungu8275的博客
06-21 216
Kafka Consumer的底层API- SimpleConsumer 1.Kafka提供了两套API给Consumer The high-level Consumer API The SimpleConsumer API...
Kafka深度解析：分布式流式处理平台与实战
"《图解 Kafka 之实战指南》PDF" Kafka 是一个由LinkedIn最初开发，现由Apache基金会维护的分布式消息系统，它使用Scala编程语言构建，并依赖ZooKeeper进行协调。作为一款高性能、可持久化的分布式流处理平台，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值