flink sql 从mysql读数据写入到mysql实践

本文介绍了如何使用Flink SQL从MySQL数据库读取数据并写入到另一个MySQL数据库的过程,包括遇到的问题及解决方法,强调了源表和目标表的创建、依赖的添加以及执行DDL语句时的注意事项。
摘要由CSDN通过智能技术生成

背景

主要是实践下从mysql读数据写入到mysql,期间也会遇到的一些问题。
参考链接:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/jdbc.html

先决条件

  • 添加maven依赖,从mysql读取数据到mysql这两个依赖必不可少
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${
   scala.binary.version}</artifactId>
            <version>${
   flink.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            
要将实时计算的当天 PV 写入 MySQL,可以使用 Flink 的 JDBC Connector 连接器,将结果输出到 MySQL 数据库中。 以下是一个示例代码: ``` DataStream<Tuple2<String, Integer>> pvStream = ...; // 获取实时计算的当天 PV 数据流 // 将结果写入 MySQL pvStream.addSink(JdbcSink.sink( "INSERT INTO pv_count(date, pv) VALUES (?, ?)", (ps, t) -> { ps.setDate(1, new java.sql.Date(System.currentTimeMillis())); ps.setInt(2, t.f1); }, new JdbcConnectionOptions.JdbcConnectionOptionsBuilder() .withUrl("jdbc:mysql://localhost:3306/db") .withDriverName("com.mysql.jdbc.Driver") .withUsername("user") .withPassword("password") .build() )); ``` 其中,`pvStream` 是一个包含了当天 PV 数量的数据流。`JdbcSink.sink` 方法将数据写入 MySQL 数据库中,第一个参数是 SQL 语句,第二个参数是将数据写入 PreparedStatement 中的逻辑,第三个参数是连接 MySQL 的配置信息。 在这个示例中,我们使用了一个 `pv_count` 表,用于存储每天的 PV 数量。表中包含两个字段:`date` 用于存储日期,`pv` 用于存储当天的 PV 数量。在 `JdbcSink.sink` 的第一个参数中,我们使用了一个占位符 `?` 来表示这两个字段。在第二个参数中,我们将当前时间作为日期写入了 PreparedStatement 中的第一个参数,将当天 PV 数量写入了第二个参数。在第三个参数中,我们指定了连接 MySQL 数据库的配置信息。 这样,当 Flink 实时计算出当天的 PV 数量后,就会自动将结果写入 MySQL 数据库中。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

house.zhang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值