FLINK 基于1.15.2的Java开发-Sink到MYSQL的两种姿势

最新推荐文章于 2024-07-08 00:30:00 发布

置顶 TGITCIC

最新推荐文章于 2024-07-08 00:30:00 发布

阅读量2.4k

点赞数 2

分类专栏： flink 文章标签： flink flink mysql flink 批量插 flink batch flink 批量插mysql

本文链接：https://blog.csdn.net/lifetragedy/article/details/127571462

版权

16 篇文章 8 订阅 ¥49.90 ¥99.00

订阅专栏

本文详细介绍了如何在Flink 1.15.2中将数据Sink到MySQL，包括暴力插入式和生产环境中常用的批量INSERT模式。在批量INSERT模式中，通过设置JdbcExecutionOptions进行批处理，并讨论了主键重复处理策略和实时计算中的去重最佳实践。

摘要由CSDN通过智能技术生成

需求

需求非常简单。把下面这个数据源：

{"productId": "a101", "status": 101}
{"productId": "a102", "status": 101}
{"productId": "a103", "status": 101}
{"productId": "a101", "status": 101}

Sink到mySQL的这样的一个表里product_tbl：

什么都不管，来一条sink一条，使用的是自定义Sink端extends RichSinkFunction<ProductBean>。然后在Sink端写PreparedStatement。下面上代码。

pom.xml

为了在flink里使用mysql，我们这边使用的是flink的最新版本1.15.2，因此在flink的1.15.2里访问mysql必须含有以下这两样内容

   <properties>
       &l

了解本专栏

关注