kafka0.9.0 新特性（对比0.8）

最新推荐文章于 2021-04-25 18:12:34 发布
最新推荐文章于 2021-04-25 18:12:34 发布
阅读量275 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beyond59241/article/details/84848448
版权
Kafka 0.9.0 引入了全新的Consumer API，offset由kafka管理，支持多线程。消费者可以订阅特定partition，外部存储offset以实现更强的事务性保证。此外，新增安全管理机制，提供SSL和SASL验证。最后，Kafka Connect的引入简化了数据导入导出。本文作者拥有丰富的互联网架构设计经验。
摘要由CSDN通过智能技术生成
5401760-e5c44a047c55c7a9.png
image.png

1、引入新的Consumer API

0.9.0相比0.8.2，引入了一个新的Consumer API，这个API不再使用high level和low level的基于zookeeper的client；不过仍然支持0.8.0的client。

新的API通过如下方式引入依赖：

   <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.9.0.0</version>
    </dependency>
consumer的offset

kafka0.8.0 的 consumer客户端需要不断与kafka集群的zookeeper交互，以获取最新的offset。而新的consumer的offset则是交给kafka来管理

最低0.47元/天 解锁文章
高广超
关注
flink实战--flink整合kafka (kafka source 与 kafka sink)
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
Kafka 0.9版本
04-09
Kafka 0.9版本
kafka0.9 java commit_0.9版本kafka优化及常见错误（转载）
weixin_39980893的博客
02-17 164
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS,S3等，可以把这些大的文件存放到共享存储，...
kafka文档（3）－－－－0.8.2-kafka API（java版本）
录事参军
03-02 2万+
原文地址： http://kafka.apache.org/documentation.html#api
kafka 知识要点，基于0.9、 0.10版本，很全面
06-06
kafka 知识要点，基于0.9、 0.10版本，很全面
kafka消息反复从头开始消费问题排查
寒夜
04-25 3487
问题描述   最近线上的一个数据服务(服务B)出现了一个比较诡异的问题 ，该服务消费上游服务(服务A)产生的kafka消息数据，上线后一直运行平稳，最近一周在两次上线的时候出现了大量数据更新的情况，查看服务日志发现每次都从kafka的起始位置进行消费了，而kafka topic的数据一般是保留最近7天，但是这是不应该发生的，因为监控显示服务B在重启前是没有什么延迟的，更加不可能说是有7天的延迟，而且在kafka的broker上理论上会保留每个consumer-group的信息,一般会有一定的保留时长，在业务
【kafka系列教程29】从老版本升级kafka
dcm19920115的博客
06-25 1893
从老版本升级kafka 从0.8.x, 0.9.x 或 0.10.0.X 升级到 0.10.1.0 0.10.1.0有线协议更改，通过遵循以下建议的滚动升级，在升级期间不会停机。但是，需要注意升0.10.1.0中潜在的突发状况。 注意：由于引入了新的协议，要在升级客户端之前先升级kafka集群（即，0.10.1.x仅支持 0.10.1.x或更高版本的broker，但是0.10.1.x的bro...
Kafka 0.9 新消费者API
weixin_34258078的博客
04-29 151
kafka诞生之初，它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如，消费者有一个“高级”API支持分组和异常控制，但是不支持很多更复杂的应用场景；它也有一个“低级”API，支持对细节的完全控制，但是要求码农自己控制失败和异常。所以重新设计了它们。 这个过程的第一阶段就是在0.8.1版本的时候重写了生产者API。在最近的0.9版本中完成了第二阶段，提...
Kafka常用命令收录
09-09
　　本文内容主要来自两个方面：一是网上的分享，二是自研的随手记。日记月累，收录kafka各种命令，会持续更新。 　　在0.9.0.0之后的Kafka，出现了几个新变动，一个是在Server端增加了GroupCoordinator这个角色，另一个较大的变动是将topic的offset 信息由之前存储在zookeeper上改为存储到一个特殊的topic（__consumer_offsets）中。
java kafka搭建_使用java创建kafka的生产者和消费者
weixin_42512913的博客
02-27 316
创建一个Kafka的主题，连接到zk集群，副本因子3，分区3，主题名是test111[root@h5 kafka]# bin/kafka-topics.sh --create --zookeeper h5:2181 --topic test111 --replication-factor 3 --partitions 3查看Kafka的主题详情[root@h5 kafka]# bin/kafka-...
使用新的Kafka消费者客户端
zoubf的专栏
06-17 3371
http://zqhxuyuan.github.io/2016/02/20/Kafka-Consumer-New/ Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-gett
Flink 中的kafka何时commit?
weixin_34309543的博客
09-27 690
  https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/stream_checkpointing.html @OverridepublicfinalvoidnotifyCheckpointComplete(longcheckpointId)throwsException{if(!running){LOG.d...
Kafka学习笔记: 自动提交&手动提交.
张伯毅的专栏
12-26 1万+
Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即 Consumer 需要为分配给它的每个分区提交各自的位移数据。 提交位移主要是为了表征 Consumer 的消费进度，这样当 Consumer 发生故障重启之后，就能够...
Kafka的消费者提交方式手动同步提交、和异步提交
HiterCoder
01-09 2264
1、Kafka的消费者提交方式 　　1)、自动提交，这种方式让消费者来管理位移，应用本身不需要显式操作。当我们将enable.auto.commit设置为true，那么消费者会在poll方法调用后每隔五秒(由auto.commit.interval.ms指定)提交一次位移。和很多其他操作一样，自动提交也是由poll方法来驱动的，在调用poll方法的时候，消费者判断是否到达提交时间，如果是...
Kafka0.8.0集群构建
caoshunxin01的专栏
02-23 240
最近要做实时计算相关的东西，目前每天约100G日志，还在不断增长，高峰时一天400G日志。 考虑过flume+activemq+storm+redis+hadoop， 考虑用kafka做mq的备用方案。 我这里用了公司的三台机器 192.168.197.170 192.168.197.171 192.168.197.172 一. Zookeeper集群构建
kafka0.8.0安装
大数据训练营
07-20 7209
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： · 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 · 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 · 支持通过kafka服务器和消费机集群来分区消息。 · 支持Hadoop并行数据加载。 Kafka的目的是提供一个发布订阅解决方案，它可
kafka各版本新特性介绍（0.8.2-1.0.0版本）--kafka1.0新特性介绍
qq_824203453_的博客
05-21 1万+
 kafka-0.8.2 新特性producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的repl...
kafka0.9.0源码分析
最新发布
08-06
Kafka 0.9.0 是一个分布式流处理平台，用于高效地处理和传输大规模数据流。它采用了发布-订阅的消息队列模型，能够以高吞吐量、低延迟的方式处理数据。 在源码分析上，我可以给你一些大致的指导，但是详细的分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值