Flink-从kafka读取数据，输出到mysql

最新推荐文章于 2024-03-30 17:44:36 发布

IMezZ

最新推荐文章于 2024-03-30 17:44:36 发布

阅读量1.4k

点赞数

分类专栏： Flink 文章标签： kafka flink mysql

本文链接：https://blog.csdn.net/qq_36249352/article/details/127576892

版权

本文介绍了如何配置Flink从Kafka读取数据，并将处理后的数据存储到MySQL中。首先，展示了项目的pom依赖，接着详细解释了自定义的Kafka数据源代码和将数据写入MySQL的实现过程。最后，通过结果展示验证了数据的正确流动，包括在Kafka生产者端发送数据、Flink控制台输出以及MySQL数据库中的数据查看。

摘要由CSDN通过智能技术生成

1、pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>flinkemo</groupId>
  <artifactId>flinkemo</artifactId>
  <version>1.0-SNAPSHOT</version>
  <dependencies>
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>8.0.30</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
      <version>1.10.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-scala_2.12</artifactId>
      <version>1.10.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>fli