flink mysql sink_聊聊flink的sink

本文详细介绍了Flink中的sink概念及其作用,重点解析了Flink的SinkFunction接口,以及如何自定义MySQL Sink。通过分析PrintSinkFunction的内部实现,展示了数据输出的流程。此外,还提供了一个实例,演示了如何创建一个将Flink数据流写入MySQL数据库的自定义sink,并给出了完整的代码示例。
摘要由CSDN通过智能技术生成

概述

flink的sink是flink三大逻辑结构之一(source,transform,sink),功能就是负责把flink处理后的数据输出到外部系统中,flink 的sink和source的代码结构类似。

在编写代码的过程中,我们可以使用flink已经提供的sink,如kafka,jdbc,es等,当然我们也可以通过自定义的方式,来实现我们自己的sink。下面说明核心类

核心类

SinkFunction 是一个接口,类似于SourceFunction接口。SinkFunction中主要包含一个方法,那就是用于数据输出的invoke 方法,每条记录都会执行一次invoke方法,用于执行输出操作。

// Writes the given value to the sink. This function is called for every record.default void invoke(IN value) throws Exception

default void invoke(IN value, Context context) throws Exception

// Context接口中返回关于时间的信息interface Context {

/** Returns the current processing time. */

long currentProcessingTime();

/** Returns the current event-time watermark. */

long currentWatermark();

/*** Returns the timestamp of the current input record or {@code null

要将实时计算的当天 PV 写入 MySQL,可以使用 Flink 的 JDBC Connector 连接器,将结果输出到 MySQL 数据库中。 以下是一个示例代码: ``` DataStream<Tuple2<String, Integer>> pvStream = ...; // 获取实时计算的当天 PV 数据流 // 将结果写入 MySQL pvStream.addSink(JdbcSink.sink( "INSERT INTO pv_count(date, pv) VALUES (?, ?)", (ps, t) -> { ps.setDate(1, new java.sql.Date(System.currentTimeMillis())); ps.setInt(2, t.f1); }, new JdbcConnectionOptions.JdbcConnectionOptionsBuilder() .withUrl("jdbc:mysql://localhost:3306/db") .withDriverName("com.mysql.jdbc.Driver") .withUsername("user") .withPassword("password") .build() )); ``` 其中,`pvStream` 是一个包含了当天 PV 数量的数据流。`JdbcSink.sink` 方法将数据写入 MySQL 数据库中,第一个参数是 SQL 语句,第二个参数是将数据写入 PreparedStatement 中的逻辑,第三个参数是连接 MySQL 的配置信息。 在这个示例中,我们使用了一个 `pv_count` 表,用于存储每天的 PV 数量。表中包含两个字段:`date` 用于存储日期,`pv` 用于存储当天的 PV 数量。在 `JdbcSink.sink` 的第一个参数中,我们使用了一个占位符 `?` 来表示这两个字段。在第二个参数中,我们将当前时间作为日期写入了 PreparedStatement 中的第一个参数,将当天 PV 数量写入了第二个参数。在第三个参数中,我们指定了连接 MySQL 数据库的配置信息。 这样,当 Flink 实时计算出当天的 PV 数量后,就会自动将结果写入 MySQL 数据库中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值