Kafka结合Avro、confluent进行序列化和反序列化

最新推荐文章于 2023-04-01 21:16:27 发布

渔闻520

最新推荐文章于 2023-04-01 21:16:27 发布

阅读量2.5k

点赞数

分类专栏： Kafka

本文链接：https://blog.csdn.net/weixin_41060905/article/details/104008336

版权

本文介绍了如何结合Kafka、Avro和Confluent进行序列化和反序列化操作。首先，文章提到了在Maven中手动添加Confluent的依赖，由于在官方仓库找不到，需要下载tar包并安装。接着，详细阐述了在Linux上安装Confluent 1.0的步骤，并强调启动前需先启动Zookeeper和Kafka。然后，展示了生产者和消费者的代码示例，说明如何通过Avro schema获取特定数据。最后，提到Confluent的schema注册和查看，并提到了对Maven配置的修改。

摘要由CSDN通过智能技术生成

首先需要添加如下的依赖：

<!-- https://mvnrepository.com/artifact/org.apache.avro/avro -->
<dependency>
    <groupId>org.apache.avro</groupId>
    <artifactId>avro</artifactId>
    <version>1.9.0</version>
</dependency>
 
<dependency>
      <groupId>org.apache.avro</groupId>
      <artifactId>avro-tools</artifactId>
      <version>1.9.0</version>
    </dependency>

而confluent的相关包在maven上是找不到的。需要自己手动添加：

需要这些包。

而后，需要在linux上安装confluent：

我选择安装的是1.0版本。

tar包下载地址：https://www.confluent.io/previous-versions/

下载后，解压。

启动confluent：（注意：在启动之前一定要先启动zookeeper和kafka！）

[root@confluent confluent-4.1.1]# bin/schema-registry-start etc/schema-registry/schema-registry.properties
# 省略一些内容......
[2018-06-22 16:10:26,442] INFO Server started, listening for requests... (io.confluent.kafka.schemar