【Flink】FlinkSQL实现数据从Kafka到MySQL

本文介绍了如何使用FlinkSQL将数据从Kafka源传输到MySQL目标表。通过创建mysql测试表,设置Kafka topic,编写并执行FlinkSQL,以及向Kafka topic插入匹配的数据,最终在MySQL中验证数据迁移成功。
摘要由CSDN通过智能技术生成
简介

       未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。

       本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作,这个在生产开发中比较常用,通常生产用kafka作为数据的输入,本例子Flink版本1.13.6,具体操作如下:

创建mysql测试目标表

下面是创建mysql测试目标表的例子

CREATE TABLE `kafka_target` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`name` varchar(64) DEFAULT NULL COMMENT '姓名',
`create_time` datetime  COMMENT '创建时间',
PRIMARY KEY (`id`)

ENGINE = InnoDB;

创建kafka的topic

 /opt/kafka/bin/ka

1. 环境准备 - 安装 MySQL,创建测试数据库和表,并插入数据 - 安装 Kafka,并创建一个 topic - 安装 Flink 2. 创建 Flink 项目 - 在 Flink 的 bin 目录下执行 flink new myflinkproject 创建一个新的 Flink 项目 - 在 pom.xml 中添加以下依赖 ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-java-bridge</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-json</artifactId> <version>${flink.version}</version> </dependency> ``` - 在 src/main/java 下创建一个 Java 类,例如 SyncMySQLToKafka.java 3. 编写 Flink SQL 在 SyncMySQLToKafka.java 中编写以下代码: ``` public class SyncMySQLToKafka { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, settings); tableEnv.executeSql("CREATE TABLE mysql_table (id INT, name STRING) " + "WITH (" + " 'connector.type' = 'jdbc'," + " 'connector.url' = 'jdbc:mysql://localhost:3306/test?characterEncoding=utf-8'," + " 'connector.table' = 'test_table'," + " 'connector.driver' = 'com.mysql.jdbc.Driver'," + " 'connector.username' = 'root'," + " 'connector.password' = 'root'" + ")"); tableEnv.executeSql("CREATE TABLE kafka_table (id INT, name STRING) " + "WITH (" + " 'connector.type' = 'kafka'," + " 'connector.version' = 'universal'," + " 'connector.topic' = 'test_topic'," + " 'connector.properties.bootstrap.servers' = 'localhost:9092'," + " 'connector.properties.group.id' = 'test_group'," + " 'format.type' = 'json'," + " 'update-mode' = 'append'" + ")"); tableEnv.executeSql("INSERT INTO kafka_table SELECT id, name FROM mysql_table"); env.execute(); } } ``` - 创建一个 MySQLmysql_table,指定连接信息和表名 - 创建一个 Kafkakafka_table,指定连接信息、topic 和数据格式 - 将 mysql_table 中的数据插入到 kafka_table 中 4. 运行程序 - 在命令行中进入项目根目录,执行 mvn clean package 编译项目 - 执行以下命令运行程序 ``` ./bin/flink run -c SyncMySQLToKafka target/myflinkproject-1.0-SNAPSHOT.jar ``` 5. 验证结果 - 在 Kafka 中查看是否有数据写入到 test_topic 中 - 修改 MySQL 表中的数据,查看是否能同步到 Kafka 中 以上就是使用 Flink SQL 实现 MySQL 同步到 Kafka 的简单示例。需要注意的是,本示例仅供参考,实际应用中需要根据具体需求进行修改和优化。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值