flink 解决udf重复调用的问题（亲测有效）

最新推荐文章于 2024-05-05 23:04:49 发布
最新推荐文章于 2024-05-05 23:04:49 发布
阅读量432 收藏
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44628586/article/details/130860937
版权
本文介绍了在Flink中遇到UDF重复调用的问题及其带来的性能影响，通过测试展示了UDF在默认情况下会被调用多次。为解决此问题，文章详细解释了如何将UDF转换为UDTF，并通过实验证明转换后每次输出仅调用UDTF一次，从而提高了计算效率和性能。
摘要由CSDN通过智能技术生成

问题

fdcfcd90609059e5a5fa3c9ba8b84b2c.png
针对如图的情况，udf会被调用4次，如果udf是计算型的，后果很严重。接下来介绍一下解决的办法。

测试UDF

1.写两个udf

public class Udf1 extends ScalarFunction {
了解本专栏 订阅专栏 解锁全文 超级会员免费看
重生之我在异世界打工
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink 之 sql client 调用 python udf
csdntestuser1的博客
03-20 791
这里主要描述的是通过sql client来调用 python udf，以达到在sql client中使用自定义函数的目的
为什么在实时计算中定义UDF函数中open方法会执行多次？
weixin_41998764的博客
12-25 2021
实时UDF中open方法执行次数描述背景：执行报错：问题排查：排查：疑惑：解决：引申：总结： 描述背景： 在使用blink进行开发IP匹配的时候，因为是通过UDF来实现的，所以打算在UDF的open方法中预先读取IP信息数据，【open方法对于一个实例Task只调用执行一次，算作是预处理，类似hive的UDF中setup方法】存放在集合中。然后处理集合，按照有序排序，最终使用二分查找去寻找当前IP对应的地址信息。 具体实现和背景介绍在之前的这篇文章：链接—>Hi一起来了解实时数据的IP解析吧 执行报错
spark sql中踩到的一个坑，自定义Udf会执行多次，即使在已经cache table的情况下
xiao_jun_0820的专栏
11-21 3745
spark sql中踩到的一个坑，自定义Udf会执行多次，即使在已经cache table的情况下:  https://issues.apache.org/jira/browse/SPARK-15282 以前也没发现这个问题，因为如果一个UDF是无状态的话，其实执行多次并不会导致结果的最终一致性被打破，说来也巧啊，最近写了一个UDF里面封装了redis的hsetnx操作 val hse
浅谈Flink SQL代码生成与UDF重复调用的优化
LittleMagic's Blog
12-09 1049
前言 之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。 代码生成简介 代码生成(code generation)是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行(二进制代码)，充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获...
flink sql自动优化导致函数不打印日志并且只调用一次的大坑
weixin_45421307的博客
05-16 703
场景： 在项目开发中，需要自定义一个udf函数去处理当前系统时间并记录，然而在使用中发现函数调用的时候生成的所有时间都是一样的，经过反复测试发现这个自定义的udf类仅仅在flink job启动时调用了一次，所以生成的时间都是最初job加载的时间 原因： 查阅资料后发现，flink sql存在一种防止反复调用的优化机制，当udf 的function被调用时，如果你选择无参构造，flinksql执行器会通过生成的物理计划对sql进行优化来防止反复调用生成相同的结果来节省资源，简单来说就是无参的自定义udf
flink双流join结果数据重复问题排查
liuxiaoer1的专栏
10-08 397
Kafka的两个topic，topic1 为用户下单明细记录（包含订单基本信息），topic2为下单渠道记录（包含下单来源和渠道内容设备相关的信息） ，要求实时统计每分钟内所有订单下的渠道来源分布详情。具体做法是1.双流关联得到每个订单的渠道信息明细interval join 2.根据渠道维度汇总聚合数据。但是在实时流数据输出的结果和离线订单有gap，发现双流关联后中间结果数据有重复订单数据。
Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF
热门推荐
王佩的CSDN博客
12-08 1万+
本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价...
FlinkSQL优化器查询重写技术引发UDF翻倍调用问题分析及解决方案
最新发布
道可道非常道
05-05 960
​ Flink SQL无疑是实时数仓领域一个最耀眼的明星，他对于统一流批一体的设计可谓是居功至伟。鉴于Flink SQL在实时数仓领域的卓越表现，我们很有必要对Flink SQL在ETL场景下的表现要有深刻的理解。本文聚焦于Flink SQL UDF使用场景下由于SQL重写导致UDF翻倍调用的原理分析及对应的应对策略。
FlinkSql-UDF
someInNeed的博客
02-27 632
在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为Scala 的Table API注册函数。函数通过调用registerFunction()方法在TableEnvironment中注册。当用户定义的函数被注册时，它被插入到TableEnvironment的函数目录中，这样Table API或SQL解析器就可以识别并正确地解释它。
【Flink】Flink各种UDF简介
九师兄
06-11 7961
1.本文会主要讲三种udf： ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。 2.注册用户自定义函数 在大多数场景下，用户自定义函数在使用之前是必须要注册的。对于Scala的Table API，udf是不需要注册的。 调用TableEnvironment的registerFunction()方法来实现注册。U.
关于在Flink批处理中数据同步的一些经验以及批处理中使用窗口函数的一些经验
HiBoyljw的博客
12-21 2047
在最近的项目中有使用到Flink 批处理的方式来进行数据源的数据同步。由于一些原因，并没有去使用开源的flinkx 之类的工具，而且Flink Jdbc connect 是一种基于查询数据同步，在数据同步之前必然会业务方造成查询压力的。目前在需要同步的表中，其它的表数据最高也不超过千万，但是我们源表的数据量却是达到了上亿级别。这种数据量的业务，在数据查询中一不小心就会照成查询超时，所以在大表数据同步时需要特别注意。而由于 Flink jdbc 本身设计原因，它默认是不支持条件查询的，默认均是扫描全表。所以最
Flink 状态一致性
记录点点滴滴
06-18 1230
状态一致性有三种级别： - 最多一次 (AT-MOST-ONCE) : 只处理一次 , 遇到故障就会丢失 , 优点 : 处理快 - 至少一次 (AT-LEAST-ONCE) : 不会丢失数据 , 但存在重复数据 - 精确一次（EXACTLY-ONCE) : 不会丢失数据 , 也不会重复数据 实现要求 : - 端到端 (end-to-end) 的状态一致性 : 数据源、流处理器、外部存储系统都要有保证机制 - at-least-once 级别 : 数据源能重放数据
滴滴Flink-1.10升级之路
DiDi_Tech的博客
01-12 2845
桔妹导读：滴滴实时计算引擎从Flink-1.4无缝升级到Flink-1.10版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL引擎等进行了一些优化，在性能和易用性上相较旧版本都...
Flink SQL在B站的实践
数据一哥，公众号：数据社
11-10 5258
本期作者FlinkSql团队B站实时平台flinksql团队，负责flink引擎sql功能的研发，支持的业务包括实时计算，流批一体以及数据湖等01 FlinkSql在B站目前在B站，线上大概有4000+的flink实时任务，主要支撑数据集成,实时数仓，模型训练，特征指标计算，以及增量化等业务。其中90%以上都是sql任务，存量的jar包任务，也在逐步推进尽可能往sql改写，sql在计算描述上的优点...
flink-sql自定义函数-1.14
第一片心意的博客
11-05 591
本文章为 flink 1.14 官网中 flink sql 自定义函数部分的翻译与整理。
Flink保证数据不丢失不重复、状态一致性
博客
11-05 5382
如图：奇数和偶数分流分别计算 概念 计算结果要保证准确。 一条数据不应该丢失，也不应该重复计算。 遇到故障时可以恢复状态，恢复以后的重新计算结果应该也是完全正确的。 状态一致性分类（级别） AT-MOST-ONCE（最多一次） 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。即最多处理一次事件。 AT-LEAST-ONCE（至少一次） （不能保证数据不被重复处理） 在大多数真实应用场景，我们希望不丢事件。但是有些事件还可能被处理多次。 ...
Flink实现Exactly Once
zwyoozwz的博客
07-29 2673
flink中的exactly once
1.11 flink中的动态加载udf jar包
杜海的博客
01-27 2342
背景 项目中想要把flink做到平台化,只需要编辑sql便能把任务跑起来,开发过程中遇到一个问题,就是如何能够自动的加载自定义的函数包,因为项目中已经把main打包成一个通用的jar, 使用时只需要把sql信息用参数形式传入就可以. 但是如果sql中需要使用到udf,那么就需要实现flink的动态加载jar 先说结论 在通用的jar main中通过反射使用类加载器,加载对应的jar包 通过反射设置StreamExecutionEnvironment中的configuration的conf...
flink的udf怎么写
09-13
### 回答1： 在 Apache Flink 中，你可以通过实现自定义函数（UDF）来扩展 Flink 的功能。 要实现一个 UDF，你需要创建一个类并实现 `org.apache.flink.api.common.functions.Function` 接口。例如，以下是一个简单的 UDF 示例，它将输入字符串转换为大写： ``` import org.apache.flink.api.common.functions.Function; public class UpperCase implements Function { public String map(String value) { return value.toUpperCase(); } } ``` 接下来，你可以在 Flink 程序中使用 `UpperCase` UDF，方法是将它传递给 `DataStream` 或 `Table` 的 `map` 方法。 例如，以下是如何使用 `UpperCase` UDF 的示例： ``` DataStream<String> input = ...; DataStream<String> output = input.map(new UpperCase()); ``` 你还可以使用 `map` 方法的多参数形式，以便让 UDF 可以使用多个输入参数。这是一个使用两个输入参数的例子： ``` public class Add implements Function { public int map(int a, int b) { return a + b; } } DataStream<Tuple2<Integer, Integer>> input = ...; DataStream<Integer> output = input.map(new Add()); ``` 注意，当使用多个输入参数时，你需要使用 Tuple 类型作为输入类型。 ### 回答2： Flink（Apache Flink）是一个开源的流处理框架，支持高吞吐量和低延迟的大规模数据流处理。UDF（User-Defined Function）是Flink提供的一种机制，用于开发自定义的数据处理逻辑。 编写Flink的UDF有以下步骤： 1. 定义UDF类：首先，需要创建一个类来实现UDF接口或继承提供的抽象类。UDF接口或抽象类包含了需要实现的方法，根据具体需要选择合适的接口或抽象类。 2. 实现方法：在UDF类中，需要实现UDF接口或抽象类中定义的方法。方法根据自定义的数据处理逻辑来编写。例如，如果需要对输入的数据进行某种计算，可以在方法中编写相应的计算代码。 3. 注册UDF：在Flink作业中，需要将自定义的UDF注册到作业的执行环境中。可以使用env.registerFunction()方法来注册UDF。注册时，需要指定UDF的名字、实现类以及接受的参数类型。 4. 使用UDF：在Flink流处理作业中，可以通过调用注册好的UDF来处理数据。可以使用.map()、.flatMap()等操作符来应用UDF，根据需要将UDF应用到流处理的每个元素上。 总结起来，编写Flink的UDF主要包括定义UDF类，实现方法，注册UDF，以及在流处理作业中使用UDF。通过这些步骤，可以将自定义的数据处理逻辑应用于Flink流式计算中，实现个性化的数据处理需求。 ### 回答3： Flink是一个基于流式数据和批处理数据的分布式计算框架，用户可以自定义函数来处理数据。UDF（User Defined Function）是一种用户自定义的函数，可以在Flink中使用。 在Flink中，编写UDF的一般步骤如下： 1. 创建一个类，实现`org.apache.flink.api.common.functions.MapFunction`、`org.apache.flink.api.common.functions.FlatMapFunction`、`org.apache.flink.api.common.functions.FilterFunction`或其他Flink提供的函数接口，根据需求选择合适的接口。 2. 在类中重写相应的方法，根据输入数据的类型和业务需求进行处理，并返回结果。 3. 在Flink程序中使用UDF，可以通过`.map()`、`.flatMap()`、`.filter()`等函数将UDF应用到数据流中的每个元素。 例如，假设我们想在Flink中实现一个UDF来对输入的字符串进行大写转换，可以按照以下方式编写： ```java import org.apache.flink.api.common.functions.MapFunction; public class MyUDF implements MapFunction<String, String> { @Override public String map(String value) throws Exception { return value.toUpperCase(); } } ``` 然后在Flink程序中使用这个UDF： ```java import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class FlinkUDFExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> input = env.fromElements("hello", "world", "flink"); DataStream<String> output = input.map(new MyUDF()); output.print(); env.execute("Flink UDF Example"); } } ``` 以上代码中，我们创建了一个`MyUDF`类实现了`MapFunction`接口，并在`map()`方法中将输入字符串转换为大写。然后在Flink程序中使用了这个UDF来对输入的数据流进行转换操作。最后通过`print()`函数将转换的结果打印出来。 总结来说，Flink中编写UDF的关键是实现Flink提供的函数接口，并重写相关方法，在Flink程序中使用这些UDF来对数据流进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值