Flink实现数据写入MySQL

已于 2024-01-27 09:03:08 修改
阅读量1.2k 收藏 6
点赞数 10
分类专栏： Flink 文章标签： flink 大数据
于 2024-01-26 18:35:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61070671/article/details/135872147
版权
本文介绍了一个使用Scala编写的Flink流处理程序，从CSV文件读取数据，转换为SensorReading对象，然后通过JDBCSink将数据实时插入或更新到MySQL数据库。
摘要由CSDN通过智能技术生成

 先准备一个文件里面数据有：

a, 1547718199, 1000000
b, 1547718200, 1000000
c, 1547718201, 1000000
d, 1547718202, 1000000
e, 1547718203, 1000000
f, 1547718204, 1000000
g, 1547718205, 1000000
h, 1547718210, 1000000
i, 1547718210, 1000000
j, 1547718210, 1000000

 scala代码：

import java.sql.{Connection, DriverManager, PreparedStatement}
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}
import org.apache.flink.streaming.api.scala._

  case class SensorReading(name: String, timestamp: Long, salary: Double)
  object a1 {
    def main(args: Array[String]): Unit = {
      val env = StreamExecutionEnvironment.getExecutionEnvironment
      env.setParallelism(1)
      //数据源
      val dataStream: DataStream[String] = env.readTextFile("D:\\wlf.备份24.1.3\\wlf\\ideaProgram\\bbbbbb\\src\\main\\resources\\salary.t
最低0.47元/天 解锁文章
flink将数据写入到mysql
congge_study的博客
01-13 7906
flink将数据写入到mysql
【大数据】Flink CDC 实时同步mysql数据
热门推荐
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink写入MySQL
鸟人的博客
07-12 3008
在Flink流式数据处理中Sink常用的有Kafka，ES，MySQL，今天来看下，Flink中怎么使用JdbcSink将数据流写入MySQL中POM，在FLINK-2的基础上添加 模拟一些数据，处理后写入MySQL 创建库表SQL 执行代码后，数据库就会有数据了............
6.3、Flink数据写入到MySQL
向热爱自己一样，热爱这个世界。
09-14 1571
Flink数据写入到MySQL
FlinkCDC-MYSQL批量写入
最新发布
csmnjk的专栏
11-01 602
思路：通过滚动窗口收集一批数据推给sink消费。binlog日志对于dataStream是没有key的，那么需要给每条数据造一个key。两种方式：（1）通过UUID创建一个全局key。（2）解析数据中的时间字段作为key。批次写入思路：使用executeBatch方式提交，url中需添加rewriteBatchedStatements=true。（3）Mysql：5.7.43 ##开启binlog。
使用flink api把数据写到mysql
wuchongyong的博客
05-16 575
flink
flink写入 mysql_flink写入mysql的两种方式
weixin_39933414的博客
12-19 2299
方式一 通过JDBCOutputFormat在flink中没有现成的用来写入MySQL的sink，但是flink提供了一个类，JDBCOutputFormat，通过这个类，如果你提供了jdbc的driver，则可以当做sink使用。JDBCOutputFormat其实是flink的batch api，但也可以用来作为stream的api使用，社区也推荐通过这种方式来进行。JDBCOutputFor...
Flink 实时写MySQL
weixin_39122545的博客
12-02 1706
Flink 实时写MySQL Flink 实时写 MySQL DEMO 文章目录Flink 实时写 MySQL DEMO前言一、Mysql建库建表二、新建项目工程1、利用idea 新建maven 项目2、pom文件中添加依赖3、建立POJO类4、建立配置文件类5、整体代码及片段解读 前言 flink写MySQL demo （亲测）有用的话多多支持，关注点赞 以下是本篇文章正文内容，下面案例可供参考 一、Mysql建库建表 建立数据库 CREATE DATABASE IF NOT EXISTS pty
Flink 将数据写入MySQL(JDBC)
文文x的博客
10-26 3348
在实际的生产环境中，我们经常会把Flink处理的数据写入MySQL、Doris等数据库中，下面以MySQL为例，使用JDBC的方式将Flink的数据实时数据写入MySQL。
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
weixin_33672400的博客
02-24 1926
<!-- more --> 前言 之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？ 文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个预聚合，然后创建数据库连接池将数据批量...
Flink将数据写入到mysql
FlatTiger的博客
05-29 1090
import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.connector.jdbc.JdbcConnectionOptions; import org.apache.flink.connector.jdbc.JdbcExecutionOptions; import org.apache.flink.connector.jdbc.JdbcSink; import org.apache.flink.st
flink写入 mysql_Flink批处理之读写Mysql
weixin_39520013的博客
12-19 494
mysqlmysql-connector-java5.1.48org.apache.flinkflink-jdbc_2.121.8.02、建表CREATE TABLE `temp` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`time` varchar(255) DEFAULT NULL,`t...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
Flink可以通过`FlinkKafkaConsumer`类从Kafka主题中读取数据，实现数据的实时摄入。批量化聚合是指在一定条件（如时间间隔或数据量达到特定阈值）下对数据进行聚合操作。例如，可以设置每收到1000条记录或者每隔5...
flink: 通过Sink将数据写入MySQL
amadeus_liu2的博客
03-05 1924
【代码】flink: 通过Sink将数据写入MySQL。
flink自定义数据源，写入数据到Mysql
weixin_45928691的博客
08-14 356
flink插入数据到mysql
Flink批量写入mysql
诸葛子房的博客
09-26 5804
1.参考Flink写mysql https://blog.csdn.net/weixin_43291055/article/details/100972694 2.新增批量写入函数 xml <insert id="insertBatch" parameterType="java.util.List"> insert into sku_info (sku,num) va...
Flink实时写入Mysql数据
Appreciate(欣赏)
01-27 3733
1.需要的依赖 import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datastream.DataStreamSource; 、
flink入门2-flink连接mysql完成读写操作
summon的博客
06-07 6271
本文将会实现flink连接MySQL，废话不多说，上代码。本文章中的数据库表名为token，只有两个字段code和state 2、读取数据源 3、更新和写入数据 4、启动类 5、source、sink介绍 sourcesink
flink中数据写入到mysql中
06-06
在 Flink 中将数据写入到 MySQL 中，可以通过以下步骤实现： 1. 引入 MySQL 驱动依赖 在 pom.xml 文件中加入以下依赖： ```xml <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.26</version> </dependency> ``` 2. 实现自定义的 SinkFunction 可以通过实现 SinkFunction 接口来自定义数据写入的逻辑。以下是一个简单的实现示例： ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.util.List; import org.apache.flink.streaming.api.functions.sink.SinkFunction; public class MySQLSink implements SinkFunction<List<String>> { private final String url; private final String username; private final String password; private final String sql; public MySQLSink(String url, String username, String password, String sql) { this.url = url; this.username = username; this.password = password; this.sql = sql; } @Override public void invoke(List<String> values) throws Exception { Connection conn = DriverManager.getConnection(url, username, password); PreparedStatement ps = conn.prepareStatement(sql); for (String value : values) { ps.setString(1, value); ps.addBatch(); } ps.executeBatch(); ps.close(); conn.close(); } } ``` 上述代码中的 `invoke()` 方法被 Flink 调用，将数据写入到 MySQL 中。`url`、`username`、`password` 和 `sql` 分别是连接 MySQL 数据库的 URL、用户名、密码和执行的 SQL 语句。 3. 将数据写入到自定义 SinkFunction 中 在 Flink 的 DataStream 中，可以使用 `addSink()` 方法将数据写入到自定义的 SinkFunction 中。以下是一个示例： ```java DataStream<String> stream = ...; stream.addSink(new MySQLSink("jdbc:mysql://localhost:3306/test", "root", "123456", "INSERT INTO table_name (column_name) VALUES (?)")); ``` 上述代码中的 `stream` 是一个数据流，通过 `addSink()` 方法将数据写入到 MySQL 中。`MySQLSink` 是自定义的 SinkFunction，用于将数据写入到 MySQL 数据库中。在 `MySQLSink` 的构造函数中，需要传入连接 MySQL 数据库的 URL、用户名、密码和执行的 SQL 语句。`values` 参数是一个 `List`，包含了要写入到 MySQL 中的数据。在 `invoke()` 方法中，首先连接 MySQL 数据库，然后通过 `PreparedStatement` 执行 SQL 语句，将数据写入到 MySQL 中。 注意：在实际使用中，为了提高性能，可以使用连接池管理连接，避免频繁创建和关闭连接。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值