Flink：JDBC Sink

最新推荐文章于 2023-12-08 19:47:57 发布
最新推荐文章于 2023-12-08 19:47:57 发布
阅读量2.7k 收藏 7
点赞数 4
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42457969/article/details/118094687
版权

Flink：JDBC Sink

使用JDBC Sink需要先导入依赖（我的Flink为1.12）

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-jdbc_2.11</artifactId>
  <version>1.12.0</version>
</dependency>

编码：

创建JDBCSink类

package com.lzy.exer;

import com.lzy.day02.bean.WaterSensor;
import org.apache.flink.connector.jdbc.JdbcConnectionOptions;
import org.apache.flink.connector.jdbc.JdbcExecutionOptions;
import org.apache.flink.connector.jdbc.JdbcSink;
import org.apache.flink.connector
最低0.47元/天 解锁文章
默存丶
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Flink源码解析系列--DataStream JDBC-Sink
打酱油的葫芦娃
02-23 9497
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. 进行源码分析之前，首先看一下Flink DataStream JDBC-Sink的官方示例: StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env .fromElements(...) .addSink(JdbcSink.sink( "insert into books (.
DataStream Connector的JDBC Sink
最新发布
L
08-02 125
DataStream Connector中的JDBC Connector提供一个接收器，用于将数据写入JDBC数据库。请注意，流连接器目前不是二进制发行版的一部分。如果需要在集群中执行，需要将上面的依赖jar添加到Flink集群中。JDBC接收器提供了至少一次（at-least-once）语义。但是，通过编写upsert SQL语句或幂等SQL更新，可以有效地实现“只执行一次”（exactly-once）语义。
Flink使用JdbcSink下沉数据到数据库MySQL
luman2的博客
01-25 2626
Flink官网提供了JdbcSink的功能，如下： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env .fromElements(...) .addSink(JdbcSink.sink( "insert into books (id, title, author, price, qty) values (?,?,?
Flink之JDBC Sink
AnameJL的博客
08-02 3026
这里介绍一下Flink Sink中jdbc sink的使用方法。
Flink-JdbcSink
qq_40382400的博客
06-29 791
【代码】Flink-JdbcSink。
Flink-1.11开始提供了JDBC Sink
chbxw
08-06 1206
前言： Flink-1.10及以前，没有提供JDBC Sink, 使用自定义的Sink – 3.4、自定义Sink Flink-1.11之后，官方connector提供了JDBC Sink 1、添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.11</artifactId> <version>1.1
Flink JdbcSink.sink源码解析及常见问题
南风知我意
06-23 1674
Flink JdbcSink.sink源码解析及常见问题
flink sink jdbc没有数据_聊聊flink的sink
weixin_34135180的博客
12-20 581
概述flink的sink是flink三大逻辑结构之一（source，transform，sink）,功能就是负责把flink处理后的数据输出到外部系统中，flink 的sink和source的代码结构类似。在编写代码的过程中，我们可以使用flink已经提供的sink，如kafka，jdbc,es等，当然我们也可以通过自定义的方式，来实现我们自己的sink。下面说明核心类核心类SinkFunctio...
flink sink jdbc没有数据_Flink的sink实战之四：自定义
weixin_31887421的博客
12-23 276
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等； 本篇概览 Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战； 全系列链接 《Flink的sink实战之一：初探》 《Flink的sink实战...
Flink JDBCSink使用及源码解析
热门推荐
upupfeng的博客
02-28 1万+
以下所有都是基于Flink 1.12.0版本 Flink JDBCSink的使用 flink提供了JDBCSink方便我们写入数据库，以下是使用案例： pom依赖 需要引入flink-connector-jdbc的依赖。另外，我这里是写入mysql，所以还引入了mysql的驱动包 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2
基于Flink的JDBC SINK插入Nested结构数据到Clickhouse
u014258693的博客
07-10 692
基于Flink的JDBC SINK插入Nested结构数据到Clickhouse工具类
Flink Sink（文档、kafka、JDBC、Redis）
mma2297的博客
09-05 462
Flink Sink 创建Scala-Maven 工程 导入pom依赖（Flink所有可能用到的依赖） <properties> <scala.version>2.12.10</scala.version> <mysql.version>8.0.11</mysql.version> <flink.version>1.13.0</flink.version> &l
flink-jdbc sink
weixin_34378767的博客
07-23 1206
https://github.com/apache/flink/tree/master/flink-connectors/flink-jdbc/src https://blog.csdn.net/luoyexuge/article/details/53014703
Flink之JDBCSink连接MySQL
qq_44273739的博客
12-08 848
Flink之Jdbc Sink，将数据输入到mySQL数据库，以及输入过程中的幂等性处理。
Flink Sink之JDBC
chaohui2638457321的博客
01-22 2730
5.7.3 JDBC自定义sink Flink之Mysql数据 JDBC Connector <= 官方目前没有专门针对MySQL的，我们自己实现就好了 这里测试的是连接MySQL。 pom依赖（我本地docker里的mysql是8.0.19版本的） <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --> <dependency> <groupId>mysql&lt
【Flink1.14实战】Docker环境 DataStream jdbc sink
一片冰心
04-19 510
JDBC Connector jdbc sink 该连接器可以向 JDBC 数据库写入数据。 添加下面的依赖以便使用该连接器（同时添加 JDBC 驱动）： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.11</artifactId> <version>1.14.4</version&gt
Flink基础系列23-Sink之JDBC
只是甲的博客
10-28 6041
文章目录一.Sink之JDBC概述二.pom文件配置三.MySQL配置四.编写Java代码五.运行Flink程序查看数据参考: 一.Sink之JDBC概述 Flink的Sink支持的数据库: Bahir中支持的数据库: 从上两图可以看到，Flink的Sink并支持类似MySQL的这种关系型数据库，那么如果我需要通过Flink连接MySQL，该如何操作呢? 这个时候我们可以使用Flink Sink的JDBC连接。 二.pom文件配置 此处，我本地MySQL版本是 8.0.19 <!-- https:
聊聊flink的JDBCAppendTableSink
weixin_34366546的博客
02-02 494
序 本文主要研究一下flink的JDBCAppendTableSink 实例 JDBCAppendTableSink sink = JDBCAppendTableSink.builder() .setDrivername("org.apache.derby.jdbc.EmbeddedDriver") .setDBUrl("jdbc:derby:memory:ebookshop") .s...
flink JdbcSink.sink 怎么捕获入库异常
06-08
在 Flink 中，`JdbcSink` 是将数据写入 JDBC 数据库的 Sink，如果数据无法写入数据库，则会抛出异常。可以通过以下方式进行捕获： 1. 在 `JdbcSink` 中重写 `invoke` 方法，并在方法中捕获异常。例如： ```java public class MyJdbcSink extends JdbcSink<Tuple2<String, Integer>> { @Override public void invoke(Connection connection, Tuple2<String, Integer> value, Context context) throws Exception { try { // 处理数据 } catch (Exception e) { // 捕获异常 } super.invoke(connection, value, context); } } ``` 2. 在 `StreamExecutionEnvironment` 中设置全局异常处理器。例如： ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.getConfig().setGlobalJobParameters(params); env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); env.setParallelism(1); env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); env.getConfig().setGlobalJobParameters(params); env.setParallelism(1); env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setCheckpointTimeout(60000); env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime); env.getConfig().setGlobalJobParameters(params); env.setParallelism(1); // 设置全局异常处理器 env.getConfig().setGlobalJobParameters(params); env.getConfig().setRestartStrategy(RestartStrategies.fixedDelayRestart( 3, // 尝试重启的次数 Time.of(10, TimeUnit.SECONDS) // 时间间隔 )); env.getConfig().setGlobalJobParameters(params); env.setParallelism(1); // 添加 JdbcSink DataStream<Tuple2<String, Integer>> dataStream = ...; dataStream.addSink(new MyJdbcSink()); env.execute("My Flink Job"); ``` 通过以上两种方式，可以捕获 `JdbcSink` 写入数据时产生的异常。需要注意的是，捕获异常后需要根据实际情况进行处理，例如重试或将异常数据写入死信队列等。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值