【Flink-Bug】Flink 自定义 Sink 重写 RichSinkFunction 方法时重复调用 open 的解决方案

已于 2024-01-03 14:37:59 修改
阅读量950 收藏 10
点赞数 9
分类专栏： Flink 文章标签： flink bug 大数据
于 2023-12-18 17:55:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53543905/article/details/135068369
版权

【Flink-Bug】Flink 自定义 Sink 重写 RichSinkFunction 方法时重复调用 open 的解决方案

Flink 自定义 RichinkFunction 时可能会重写 open 方法进行某些连接的初始化操作，但是会出现重复调用 open 方法的问题，如：MQ，如果重复调用 open 进行初始化操作，就会出现 group 重复的问题。

在这里插入图片描述

解决方案：自定义并行度，让 open 方法只调用一次。

在这里插入图片描述

bmyyyyyy
关注
专栏目录
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的高性能库。 它有两个触发器来加载数据：超时和缓冲区大小。 版本图 闪烁 flink-clickhouse-sink 1.3。* 1.0.0 1.9。* 1.3.1 ...
flink中RichSinkFunction函数open、close、invoke方法分析—MysqlSinkJnupChnl类—转正项目解析：例子04
方法属性类，一个都不会
08-17 9675
1.给出例子 broadcastDataStream.addSink(new RichSinkFunction<ObjectB>() { @Override public void open(Configuration parameters) throws Exception { //连接资源 super.open(parameters); } @Override public void close() throws
Mybatis源码解读系列(五)-Executor
Feverasa的博客
12-21 445
这一篇我们再来梳理Mybatis中的Executor接口及其对应的实现类。 上一篇我们主要了解的是StatementHanlder，现在我们来了解另一个接口Executor执行器，前面的StatementHanlder就是在这里创建以及使用的。 一、Executor的结构 public interface Executor { ResultHandler NO_RESULT_HANDLER = null; int update(MappedStatement ms, Object paramete
Flink RichFunction
稻草人技术博客
11-20 1745
在IDEA中展示RichSinkFunction的继承关系层次结构图： 蓝色实线：extends继承一个抽象类 绿色实线：extends继承一个类 绿色虚线：implements实现一个接口 Function接口是所有用户自定义函数的base interface，RichFunction和SinkFunction都是继承Function的接口。可以看到，SinkFunction和RichFunction接口中有各有不同的方法，而后者的方法更丰富一些，功能也就越多，所以称为“富函数”。 RichFunc
flink 源码分析1之RichSinkFunction
GTH07399的博客
03-08 4483
flink sink 2 mysql demo 我们先看一个自定义sink 的demo，将 nc 的数据写入到mysql 中。 import myflink.learn.model.Student; import myflink.learn.sink.SinkToMySQL; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.streaming.api.datastream.DataSt
Flink函数系列(1)-rich function
chanyue123的博客
03-06 2447
rich function，即“富”函数，即相比一般的function来说，他提供了更多的功能。它定义了函数生命周期的一些方法，并可以获取函数运行时的上下文。
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **解压**：首先，需要将`flink-1.16.2-bin-scala_2.12.zip`文件解压缩到本地目录。 - **环境变量设置**：配置`FLINK_HOME`环境变量指向解压后的目录，并将`bin`目录添加到PATH环境变量中。 - **启动与停止**：...
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。  通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧...
FlinkClickHouseSink范例
GavinKai
08-30 352
package com.xxx.job; import com.alibaba.fastjson.JSONObject; import com.xxx.pojor.VisitorStats; import com.xxx.sink.ReportClickHouseSink; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.kafka.shaded.org.apache.kafka.c...
Flink之数据去重
cbb
08-23 2011
前言 flink 计算数据1秒有几十条，数据去重，1秒取一条。 1. 去重方式一 流转表 核心代码逻辑 // 计算iopv SingleOutputStreamOperator<FundIopvIndicators> streamOperator = EtfIopvFunction.calculateRealTimeIopv(stringKeyedStream); // 流转表 Table table = tableEnv.fromDat
Flink-输出算子(Sink)使用
m0_46507516的博客
11-18 3153
flink输出到kafka，elasticsearch，redis
在 Flink 算子中使用多线程如何保证不丢数据？
Ververica的博客
12-25 4997
本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。 分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同...
Flink学习10---DataStream之Sink简介及RichSinkFunction
zhuzuwei的博客
07-05 6850
功能就是负责把 Flink 处理后的数据输出到外部系统中。 一、Flink针对DataStream提供了大量的已经实现的数据下沉（sink）方式，具体有： 1. writeAsText(): 将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取。 2. print() / printToErr(): 打印每个元素的toString()方法的值到标准输出或者标准错误输出流中。 3. 自定义输出：addSink可以实现把数据输出到第三方存储介质中。 Flink通过内置
Flink 自定义Sink 之 写入HDFS
magic_kid_2010的专栏
08-08 7553
一、pom.xml添加依赖。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-filesystem_${scala.binary.version}</artifactId> <version>${flink...
Flink: Function And Rich Function
难得糊涂
10-26 1300
序言 了解了Flink提供的算子,那我们就可以自定义算子了.自定义算子的目的是为了更加灵活的处理我们的业务数据,并将满足条件的结果Sink到目标存储地cuiyaonan2000@163.com Function有2中类型即 Function 和 Rich Function .从字面意思我们可以了解 Rich Function 肯定是比Function提供了更多的功能的. 参考版本为: v1.13.2 官网地址:用户自定义 Functions | Apache Flink...
【Flink Sink 流数据批量写入数据库】
老码农的博客
12-20 1365
flink 通过开窗window缓存周期数据构成批，然后下发到sink算子 批量写入 数据库 性能优化
RichSinkFunction 在 Flink IoT 项目中的应用实战
最新发布
大模型大数据攻城狮的专栏
06-14 780
在 Flink 中，SinkFunction 是用于将数据流输出到外部系统的函数。与普通 SinkFunction 不同，RichSinkFunction 提供了更多的功能和灵活性。它允许用户访问 Flink 运行时的上下文信息，如状态管理、计时器和广播变量等。此外，RichSinkFunction 还可以处理异步 I/O 操作，提高数据输出的效率。
flink 自定义sink
07-28
Flink 提供了自定义 Sink 的功能，可以让用户根据自己的需求实现自己的 Sink 函数。自定义 Sink 主要涉及两个步骤：实现一个继承自 `RichSinkFunction` 的类，并重写其中的方法；在 Flink 程序中使用自定义 Sink。 以下是一个简单的示例，展示如何自定义一个 Sink 函数： 首先，创建一个类继承自 `RichSinkFunction`： ```java public class CustomSink extends RichSinkFunction<String> { @Override public void invoke(String value, Context context) throws Exception { // 自定义的逻辑处理，这里示例只打印输出 System.out.println(value); } } ``` 然后，在 Flink 程序中使用自定义 Sink： ```java public class CustomSinkExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> stream = env.fromElements("message 1", "message 2", "message 3"); // 使用自定义的 Sink stream.addSink(new CustomSink()); env.execute("Custom Sink Example"); } } ``` 在上述示例中，自定义的 Sink 函数 `CustomSink` 继承自 `RichSinkFunction`，并实现了 `invoke` 方法，其中可以编写自己的数据处理逻辑。在 Flink 程序中，通过 `addSink` 方法将数据流发送到自定义 Sink 中进行处理。 需要注意的是，自定义 Sink 函数还可以使用一些钩子方法，如 `open` 和 `close`，可以在其中进行一些初始化和清理操作。 希望这个示例能够帮助你理解如何在 Flink 中自定义 Sink 函数。如果有任何疑问，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值