kafka0.9.0 新特性（对比0.8）

最新推荐文章于 2021-05-13 13:48:37 发布
最新推荐文章于 2021-05-13 13:48:37 发布
阅读量2.1k 收藏 4
点赞数 1
分类专栏： 中间件 MQ 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beyond59241/article/details/78889862
版权

image.png

1、引入新的Consumer API

0.9.0相比0.8.2，引入了一个新的Consumer API，这个API不再使用high level和low level的基于zookeeper的client；不过仍然支持0.8.0的client。

新的API通过如下方式引入依赖：

   <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.9.0.0
最低0.47元/天 解锁文章
高广超
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 0.9版本
04-09
Kafka 0.9版本
kafka0.9 java commit_0.9版本kafka优化及常见错误（转载）
weixin_39980893的博客
02-17 143
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS,S3等，可以把这些大的文件存放到共享存储，...
kafka 知识要点，基于0.9、 0.10版本，很全面
06-06
kafka 知识要点，基于0.9、 0.10版本，很全面
kafka消息反复从头开始消费问题排查
寒夜
04-25 3414
问题描述   最近线上的一个数据服务(服务B)出现了一个比较诡异的问题 ，该服务消费上游服务(服务A)产生的kafka消息数据，上线后一直运行平稳，最近一周在两次上线的时候出现了大量数据更新的情况，查看服务日志发现每次都从kafka的起始位置进行消费了，而kafka topic的数据一般是保留最近7天，但是这是不应该发生的，因为监控显示服务B在重启前是没有什么延迟的，更加不可能说是有7天的延迟，而且在kafka的broker上理论上会保留每个consumer-group的信息,一般会有一定的保留时长，在业务
kafka-2.10-0.8.1.1
12-22
kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1...
Apache Kafka 0.9.0说明文档
08-17
Apache Kafka 0.9.0 是一个开源的流处理平台，由LinkedIn开发并捐赠给了Apache软件基金会。这个版本的Kafka提供了可靠的消息传递系统，支持大规模数据集成、实时流处理和构建实时数据管道。Kafka的主要特点包括高...
kafka-manager1.3.0.8 可修改offset值
04-17
版本1.3.0.8提供了对Kafka集群的可视化监控和管理，包括消费者组管理、主题管理以及offset管理等功能。这个工具使得管理员能够更方便地管理和维护Kafka集群，特别是对于offset值的修改，这是一个非常重要的特性，...
kafka-manager-1.3.0.8.zip
11-06
《Kafka Manager 1.3.0.8：掌握高效管理与偏移量调整》 Apache Kafka是一款分布式流处理平台，被广泛应用于大数据领域，用于处理实时数据流。而Kafka Manager是Yahoo开源的一款针对Kafka集群进行管理和监控的工具，...
kafka-test:卡夫卡0.8.2.1生产者消费者示例
05-28
本文将深入探讨基于Kafka 0.8.2.1的生产者和消费者示例，这对于理解和掌握Apache Kafka的基本操作至关重要。Kafka是一个分布式流处理平台，广泛用于实时数据管道和消息系统，其高效、可扩展性和可靠性使其在大数据...
Kafka常用命令收录
09-09
　　本文内容主要来自两个方面：一是网上的分享，二是自研的随手记。日记月累，收录kafka各种命令，会持续更新。 　　在0.9.0.0之后的Kafka，出现了几个新变动，一个是在Server端增加了GroupCoordinator这个角色，另一个较大的变动是将topic的offset 信息由之前存储在zookeeper上改为存储到一个特殊的topic（__consumer_offsets）中。
Kafka 0.9 新消费者API
weixin_34258078的博客
04-29 145
kafka诞生之初，它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如，消费者有一个“高级”API支持分组和异常控制，但是不支持很多更复杂的应用场景；它也有一个“低级”API，支持对细节的完全控制，但是要求码农自己控制失败和异常。所以重新设计了它们。 这个过程的第一阶段就是在0.8.1版本的时候重写了生产者API。在最近的0.9版本中完成了第二阶段，提...
java kafka搭建_使用java创建kafka的生产者和消费者
weixin_42512913的博客
02-27 311
创建一个Kafka的主题，连接到zk集群，副本因子3，分区3，主题名是test111[root@h5 kafka]# bin/kafka-topics.sh --create --zookeeper h5:2181 --topic test111 --replication-factor 3 --partitions 3查看Kafka的主题详情[root@h5 kafka]# bin/kafka-...
Flink 中的kafka何时commit?
weixin_34309543的博客
09-27 682
  https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/stream_checkpointing.html @OverridepublicfinalvoidnotifyCheckpointComplete(longcheckpointId)throwsException{if(!running){LOG.d...
Kafka学习笔记: 自动提交&手动提交.
热门推荐
张伯毅的专栏
12-26 1万+
Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即 Consumer 需要为分配给它的每个分区提交各自的位移数据。 提交位移主要是为了表征 Consumer 的消费进度，这样当 Consumer 发生故障重启之后，就能够...
Kafka的消费者提交方式手动同步提交、和异步提交
HiterCoder
01-09 2242
1、Kafka的消费者提交方式 　　1)、自动提交，这种方式让消费者来管理位移，应用本身不需要显式操作。当我们将enable.auto.commit设置为true，那么消费者会在poll方法调用后每隔五秒(由auto.commit.interval.ms指定)提交一次位移。和很多其他操作一样，自动提交也是由poll方法来驱动的，在调用poll方法的时候，消费者判断是否到达提交时间，如果是...
Oracle数据发送到kafka传输数据
子骞的世界
05-13 658
Oracle数据发送到kafka传输数据 配置OGG ADPATER FOR KAFKA需要的kafka包： Kafka 0.8.2.1 kafka-clients-0.8.2.1.jar lz4-1.2.0.jar slf4j-api-1.7.6.jar snappy-java-1.1.1.6.jar #######配置OGG 主库 dblogin userid goldengate, password oggpassword add extract EXTJMS,tranlog, threads 3,
消息中间件kafka（0.9以及0.10版本）学习及实践
aoho求索
08-25 8663
kafka 0.9 0.10 版本 特点 介绍 消息队列 pull模型 持久化 性能 负载均衡 Topic模型 消息传输一致kafka 分布式 Leader的选择 消息中间件kafka（0.9以及0.10版本）学习及实践kafka kafka分区kafka partition consumer producer broker kafka kafka kafka kafka kafka kafka
Kafka 0.9 发布
天道酬勤
06-27 1102
转自：http://colobu.com/2015/12/04/Kafka-0-9-is-released/ confluent的CTO Neha Narkhede女士在11月24日宣布 Apache Kafka 发布0.9版本。confluent是由apache kafka的创建者也就是LinkedIn开发Kafka的那个team成立的一家公司。这个版本提供了相当多的Feature和b
kafka0.9.0源码分析
最新发布
08-06
Kafka 0.9.0 是一个分布式流处理平台，用于高效地处理和传输大规模数据流。它采用了发布-订阅的消息队列模型，能够以高吞吐量、低延迟的方式处理数据。 在源码分析上，我可以给你一些大致的指导，但是详细的分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值