kafka:broker、client、spring-kafka版本间的关系

最新推荐文章于 2024-08-08 18:53:24 发布

qq_duhai

最新推荐文章于 2024-08-08 18:53:24 发布

阅读量9.1k

点赞数 7

分类专栏： kafka spring

本文链接：https://blog.csdn.net/qq_16504067/article/details/108778436

版权

spring 同时被 2 个专栏收录

77 篇文章 1 订阅

订阅专栏

kafka

19 篇文章 2 订阅

订阅专栏

broker、client:(Kafka双向兼容)

在Kafka 0.10.2.0之前，Kafka服务器端和客户端版本之间的兼容性是“单向”的，即高版本的broker可以处理低版本client的请求。反过来，低版本的broker不能处理高版本client的请求。由于升级client要远比升级broker简单得多，因此这个限制给很多用户带来了麻烦，甚至有很多人都不愿意去升级broker版本——毕竟无downtime的情况下正确升级Kafka服务器是个不小的挑战。

自0.10.2.0版本开始，社区对这个问题进行了优化——对于低版本broker + 高版本client(0.10.2.0)的环境而言，现在用户可以运行命令先查看当前broker支持的协议版本，然后再选择broker支持的最高版本封装请求即可。命令格式如下(在client端运行该命令)：

左边的图连接的是0.10.2.0版本的broker，可以看到该版本的Kafka服务器支持的FETCH请求版本范围是0到3，默认使用3；而右边的图连入的是0.10.0.1的Kafka，它只支持0~2版本的FETCH请求。因此你在编写客户端程序时需要根据这张表来确认broker支持的请求的最高版本，这样就间接实现了“低broker处理高client请求”的兼容性目标。

考虑到Java版本的client已经被广大用户直接使用了，社区也改写了Java clients底层的网络客户端代码，里面会自动地判断连接的broker端所支持client请求的最高版本，并自动创建合乎标准的请求。因此，对于FETCH请求和PRODUCE请求而言，用户不用担心需要自己实现这些细节。

总之，自0.10.2.0之后用户可以简单地升级client端代码到这个版本就可以很容易地实现与低版本Kafka服务器的交互了。

broker、client的结论:

安装的kafka_2.11-2.4.1,版本为2.4.1,标准的要是用的client版本为：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.4.1</version>
</dependency>

可以使用低版本的client去请求，比如使用

也可以选择broker支持的最高版本(这个还没有测试)

client、spring-kafka:

比较新的kafka-clients可以与比较老的spring-kafka进行通信，比如：

                <!-- kafka交互式查询使用的数据库 -->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
			<version>1.1.1.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka-streams</artifactId>
			<version>2.2.0</version>
		</dependency>
		<dependency>
			<groupId>org.rocksdb</groupId>
			<artifactId>rocksdbjni</artifactId>
			<version>5.9.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka-clients</artifactId>
			<version>2.2.0</version>
		</dependency>