Flink消费kafka，保存postgresql

最新推荐文章于 2023-06-25 10:03:52 发布

KoHsin_

最新推荐文章于 2023-06-25 10:03:52 发布

阅读量2.1k

点赞数

分类专栏：大数据 Flink 文章标签： flink kafka

本文链接：https://blog.csdn.net/KoHsin_/article/details/116453108

版权

本文介绍了如何使用Flink从Kafka消费数据，解析JSON并存储到PostgreSQL数据库。首先，需要在项目中添加PostgreSQL依赖。接着，详细讲述了Flink连接Kafka、解析JSON和自定义Sink函数实现数据存库的步骤，包括Open、Close方法的实现以及复合类型的使用。

摘要由CSDN通过智能技术生成

一、场景：

Flink消费kafka数据，解析json，保存到postgresql数据库

二、依赖：

如果是在IDEA中写代码，需要在pom文件中添加postgresql依赖，其他的一些依赖自行导入。

<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <version>42.2.2</version>
</dependency>

三、代码实现

3.1、Flink消费连接kafka，指定消费的IP和Topic

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setRuntimeMode(RuntimeExecutionMode.AUTOMATIC);
env.enableCheckpointing(5000);
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "cdh-01:9092,cdh-02:9092,cdh-03:9092");
properties.setProperty("group.id", "postgresql_test000006");
properties.setProperty("auto.offset.reset", "earliest"