flink sink jdbc没有数据_Flink的sink实战之四：自定义

最新推荐文章于 2024-04-23 12:29:16 发布
最新推荐文章于 2024-04-23 12:29:16 发布
阅读量367 收藏 1
点赞数
文章标签： flink sink jdbc没有数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28764823/article/details/112103141
版权
本文介绍了如何在Flink中开发自定义的JDBC Sink，用于将数据写入MySQL数据库。首先，文章阐述了Flink sink的继承关系和关键接口，接着详细展示了如何创建一个简单的MySQLSinkFunction，包括数据库准备、添加依赖、创建实体类和自定义sink类。最后，提交Flink任务并验证数据成功写入MySQL。
摘要由CSDN通过智能技术生成

Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；

前文链接

  1. 《Flink的sink实战之一：初探》
  1. 《Flink的sink实战之二：kafka》
  1. 《Flink的sink实战之三：cassandra3》

继承关系

  • 在正式编码前，要先弄清楚对sink能力是如何实现的，前面我们实战过的print、kafka、cassandra等sink操作，核心类的继承关系如下图所示：
8b2b6087816a19ecfb9ee9865781ece8.png
  • 可见实现sink能力的关键，是实现RichFunction和SinkFunction接口，前者用于资源控制(如open、close等操作)，后者负责sink的具体操作，来看看最简单的PrintSinkFunction类是如何实现SinkFunction接口的invoke方法：
@Overridepublic void invoke(IN record) {writer.write(record);}

现在对sink的基本逻辑已经清楚了，可以开始编码实战了；

内容和版本

本次实战很简单：自定义sink，用于将数据写入MySQL，涉及的版本信息如下：

  1. jdk：1.8.0_191
  2. flink：1.9.2
  3. maven：3.6.0
  4. flink所在操作系统：CentOS Linux release 7.7.1908
  5. MySQL：5.7.29
  6. IDEA：2018.3.5 (Ultimate Edition)

源码下载

如果您不想写代码，整个系列的源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

最低0.47元/天 解锁文章
四勾 4J
关注
大数据_Flink_Java版_Table API 和 Flink SQL(5)_表的查询---Flink工作笔记0085
添柴程序猿的专栏
03-27 461
然后前面说了表的创建,然后我们再看表的查询 首先可以看到Table 操作以后返回的都是一个Table对吧,然后可以看到 上面首先我们,上一节创建表以后,得到一个inputTable表,然后, 我们可以使用inputTable.select("id","temperature"),这里查询,inputTable中的id和temperature字段对吧. 然后我们再去过滤 调用filter可以看到我们只获取流中id是sensor_6的数据流对吧. 然后我们再看Table中的这个f...
Flink Sink之JDBC
chaohui2638457321的博客
01-22 2734
5.7.3 JDBC自定义sink Flink之Mysql数据 JDBC Connector <= 官方目前没有专门针对MySQL的，我们自己实现就好了 这里测试的是连接MySQL。 pom依赖（我本地docker里的mysql是8.0.19版本的） <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --> <dependency> <groupId>mysql&lt
Flink读写Mysql（Java版）
SunnyRivers
10-24 2572
必须得创建好Mysql表 CREATE TABLE student (name VARCHAR(20),age INT); 读写代码 创建实体类 public class Student { private String name; private int age; public Student(String name, int age) { th...
Flink Java 之 MySQL Sink
weixin_46376562的博客
07-03 860
自定义 MySQL sink
Pandas 数据结构小抄
Tryturned
12-15 739
简单记录了有关 Pandas 两个数据结构：Series和DataFrame 的使用方法。
Flink的sink实战之四：自定义
最新发布
2401_84046645的博客
04-23 640
由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-xnzxd0i2-1713846545286)]由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容。
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。  通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
Flink：JDBC Sink
默存的博客
06-21 2714
Flink：JDBC Sink 使用JDBC Sink需要先导入依赖（我的Flink为1.12） <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.11</artifactId> <version>1.12.0</version> </dependency> 编码： 创建JDBCSi
flink写入mysql（mysqlSink）
婲落ヽ红颜谇的博客
05-29 1455
1.所需依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.38</version> </dependency> 2.获取mysqlSink(创建JDBCSinkFunction-直接new) import .
Flink 异步查询 MySQL 数据
扛麻袋的少年的博客
02-14 2759
Flink学习笔记(十六)：Flink 异步查询 MySQL 数据 /** * TODO Flink 异步查询 MySQL 数据 * * @author liuzebiao * @Date 2020-2-14 17:16 */ public class AsyncMySQLRequest extends RichAsyncFunction<String,String> { private tr...
FLINK 基于1.15.2的Java开发-Sink到MYSQL的两种姿势
lifetragedy的专栏
10-28 2499
flink sink到mysql很简单。但实际生产应用时如果遇有大数据量要集中插入mysql我们如果还用的是一条条insert，那么势必会碰到系统网络瓶劲甚至弄垮mySQL。本篇就是以实际生产案例讲述了如何正确的做好flink往mySQL里sink数据得正确手法。
Apache Flink 实战JAVA用例：使用 SQL 读取 Kafka 并写入 MySQL
ytp552200ytp的博客
12-17 1995
SqlSubmit 的实现 笔者一开始是想用 SQL Client 来贯穿整个演示环节，但可惜 1.9 版本 SQL CLI 还不支持处理 CREATE TABLE 语句。所以笔者就只好自己写了个简单的提交脚本。后来想想，也挺好的，可以让听众同时了解如何通过 SQL 的方式，和编程的方式使用 Flink SQL。 SqlSubmit 的主要任务是执行和提交一个 SQL 文件，实现非常简单，就是...
FLink多表关联实时同步
东境物语
04-12 508
FLink多表关联实时同步
Flink 数据分析批处理java代码和scala代码
XGkerwin1的博客
05-29 314
数据流分析批处理
flink 将mysql作为Source和Sink的代码示例
qq864181762的博客
05-16 774
1.maven导入 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.34</version> </dependency> 2.SourceFromMySQL工具类java代码 import org.apache.flink.configurati
flink入门代码演示(Java)
TreeCode的博客
02-01 384
引入坐标： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dependency> <dependency>
Java版本Flink异步IO连接MySQL
weixin_44785708的博客
03-16 749
Java版本Flink异步IO连接MySQL
Javaweb——MySQL中的多表查询
给你糖ya的博客
07-09 849
在了解多表查询之前，我们先看一下什么是。这是单表查询，那什么又是呢？这是初学者比较容易理解的多表查询，就是直接查询两张表的字段，当然，星号可以改为对应的字段名。但是这样直接查询两张表，展示的结果会出现。：有A，B两个集合，取A，B所有的组合情况。比如A表有6条数据，B表有4条数据，那么查询出来就是24条数据。
java实现flink获取mysql多张表信息_Flink的sink实战之四：自定义
06-10
非常感谢您的提问！如果您想要在Flink中获取MySQL多张表的信息，可以按照如下步骤进行： 1. 首先需要在Flink中使用JDBC连接器连接MySQL数据库，并创建一个JDBC输入源，以便从MySQL中读取数据。 2. 然后可以通过Flink的Table API或SQL API将多张表的数据进行连接或者关联，从而得到您需要的数据。 3. 最后可以使用自定义的Sink将数据写入MySQL中。下面就是一个简单的Java代码示例，可以帮助您实现该功能： ``` public class FlinkMySQLSink { public static void main(String[] args) throws Exception { // set up the execution environment StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // set up JDBC connection options String url = "jdbc:mysql://localhost:3306/test"; String username = "root"; String password = "password"; String driverName = "com.mysql.jdbc.Driver"; // create a JDBC input source to read multiple tables from MySQL JdbcInputFormat jdbcInputFormat = JdbcInputFormat.buildJdbcInputFormat() .setDrivername(driverName) .setDBUrl(url) .setUsername(username) .setPassword(password) .setQuery("SELECT * FROM table1; SELECT * FROM table2;") .finish(); // create a data stream from the JDBC input source DataStream<Tuple2<String, String>> inputDataStream = env.createInput(jdbcInputFormat); // use Table API or SQL API to join or combine multiple tables Table table = inputDataStream .map(new MapFunction<Tuple2<String, String>, Row>() { public Row map(Tuple2<String, String> value) throws Exception { return Row.of(value.f0, value.f1); } }) .toTable(new TableSchema(new String[]{"column1", "column2"}, new TypeInformation[]{Types.STRING, Types.STRING})); // create a custom Sink to write data back to MySQL JDBCOutputFormat jdbcOutputFormat = JDBCOutputFormat.buildJDBCOutputFormat() .setDrivername(driverName) .setDBUrl(url) .setUsername(username) .setPassword(password) .setQuery("INSERT INTO result_table (column1, column2) VALUES (?, ?)") .finish(); // write the data stream to the custom Sink table.writeToSink(jdbcOutputFormat); // execute the Flink job env.execute("Flink MySQL Sink Example"); } } ``` 在这个示例中，我们首先设置了JDBC连接器所需的参数，然后使用JdbcInputFormat创建了一个JDBC输入源，该源可以从MySQL中读取多个表的数据。 接下来，我们使用Table API或SQL API将多个表的数据连接或者关联起来，并生成一个包含所需数据的Table对象。 最后，我们使用自定义的JDBCOutputFormat创建一个Sink，将Table中的数据写回到MySQL中。在这个Sink中，我们需要指定要写入哪个表，以及如何将数据映射到表中的列。 希望这个示例可以帮助您实现获取MySQL多张表信息的功能！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值