Flink实战之自定义UDF

最新推荐文章于 2023-05-25 18:09:11 发布
最新推荐文章于 2023-05-25 18:09:11 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： Flink实战系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41608066/article/details/117432541
版权

Flink SQL UDF Classloader jar包 数据处理
关键词由CSDN通过智能技术生成

一般flink sql平台化都会提供自定义udf的支持，用户通过平台上传udf jar，然后在sql中通过create function语法创建函数，并在DML中使用该udf。
主要包括以下几个核心功能：

  1. 平台支持用户上传udf jar，后台可以选择使用hdfs或oss来存储jar包
  2. 通过http将jar包路径作为参数传递到gateway服务
  3. 解析参数下载jar，并通过classloader加载jar
  4. sql中通过create function语法创建函数
  5. dml中使用函数
    以上步骤中最重要的就是如何通过classloader 来加载udf。参考了这篇文章,实践之后发现不管用。因为没有下载远程的jar包到本地，所以一直加载不成功。
    还有一点pipeline.classpaths参数不起作用，我用的是pipeline.jars参数。
    完整代码参考→代码
优优我心
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 从脚本到主类
九师兄
08-06 949
1.概述 转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一] 可以去看原文。这里是补充专栏。 2. 前言 主要针对yarn-per-job模式进行代码分析. 看看都干了啥… 二 .启动程序入口 2.1. 启动数据服务端 先打开数据的服务端 nc -lk 9999 2.2. 提交Flink 任务. 打开flink消费服务端9999里面的数据. 执行命令 : cd ${FLINK_HOME} flink run -t yarn-per-job -c org.apache
【flink】Flink 1.12.2 源码浅析 : yarn-per-job模式解析 yarn 提交过程解析
九师兄
08-06 1033
1.概述 转载：Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [二] 请大家看原文去。 接上文Flink 1.12.2 源码分析 : yarn-per-job模式浅析 [一] . CliFrontend类最终会调用我们自己写的代码,入口类是main方法. 整体流程图 细节图 整体代码如下: package org.apache.flink.streaming.examples.socket; import org.apache.flink.api.common.funct.
（8）FlinkSQL自定义UDF
NBI大数据可视化
08-08 240
Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：
flinkSQL1.16.0 动态加载udf包（二）
monsterXZB的博客
05-25 398
编写udf的动态jar的代码要点。
1.11 flink中的动态加载udf jar包
u010034713的博客
10-16 3648
背景 项目中想要把flink做到平台化,只需要编辑sql便能把任务跑起来,开发过程中遇到一个问题,就是如何能够自动的加载自定义的函数包,因为项目中已经把main打包成一个通用的jar, 使用时只需要把sql信息用参数形式传入就可以. 但是如果sql中需要使用到udf,那么就需要实现flink的动态加载jar 先说结论 在通用的jar main中通过反射使用类加载器,加载对应的jar包 通过反射设置StreamExecutionEnvironment中的configuration的confData中的
flink一文全开发周期
hzp666的博客
04-27 572
摘要：Apache Flink 作为当前最流行的流批统一的计算引擎，在实时 ETL、事件处理、数据分析、CEP、实时机器学习等领域都有着广泛的应用。从 Flink 1.9 开始，Apache Flink 社区开始在原有的 Java、Scala、SQL 等编程语言的基础之上，提供对于 Python 语言的支持。经过 Flink 1.9 ～ 1.12 以及即将发布的 1.13 版本的多个版本的开发，目前 PyFlink API 的功能已经日趋完善，可以满足绝大多数情况下 Python 用户的需求。接下来，我们以
java命令执行类,这里设置了classpath,系统变量里的classpath将失效
studyvcmfc的专栏
07-16 1623
java命令执行类(类调用了某些jar包) (2011-03-02 14:24:42) 转载▼ 标签： 杂谈 分类： java 目录结构： bin: 编译目标库 lib：使用的jar类目录 src：源文件包 比如src下有com.HelloWorld类。 则在cmd下执行 java -classpath .;
PyFlink 流处理基础实例 MySQL CDC方式实时备份
王清欢的博客
02-23 7958
01 JDBC SQL 连接器 JDBC 连接器允许使用 JDBC 驱动向任意类型的关系型数据库读取或者写入数据。 如果在 DDL 中定义了主键，JDBC sink 将以 upsert 模式与外部系统交换 UPDATE/DELETE 消息；否则，它将以 append 模式与外部系统交换消息且不支持消费 UPDATE/DELETE 消息。 1.1 下载依赖包 针对关系型数据库实现 Flink 通过建立 JDBC 连接器来执行 SQL 查询，要下载 flink-connector-jdbc 依赖包，其下载地址为
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。...Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
Flink实战之 MySQL CDC.pdf
最新发布
04-28
Flink实战之 MySQL CDC.pdf
Flink实战项目（电力行业真实项目）
03-18
主要功能是基于Flink从kafka消费数据，并做avro反序列化、解析、统计等，最后结果数据发送到redis或者influxdb(时序数据库)。另外我提供Flink答疑服务，帮助大家快速理解项目和Flink入门，如有需要可添加微信：z...
flink道路监控系统实战项目
05-07
大数据技术之Flink-修改版.doc可能是对Flink的基本概念、核心特性和操作指南的详细介绍。这份文档可能会涵盖以下几个关键点： 1. **Flink概述**：解释Flink是什么，其设计目标以及与Hadoop等其他大数据处理框架的...
apache flink 手册_Apache Flink 1.12 Documentation: 依赖管理
weixin_39719078的博客
01-14 782
应用开发Table API用户指南依赖管理依赖管理Java 依赖管理如果应用了第三方 Java 依赖， 用户可以通过以下 Python Table API进行配置，或者在提交作业时直接通过命令行参数配置。# 通过 "pipeline.jars" 参数指定 jar 包 URL列表， 每个 URL 使用 ";" 分隔。这些 jar 包最终会被上传到集群中。# 注意：当前支持通过本地文件 URL 进行上...
flink sql udf jar包_Flink on zeppelin第三弹UDF的使用
weixin_39854440的博客
11-30 916
用户自定义函数是非常重要的一个特征，因为它极大地扩展了查询的表达能力。不管是在spark sql或者hive中都支持用户自定义UDF的使用,虽然Flink提供了很多内置的UDF可以直接使用,但是一些特定的场景可能需要我们自定义UDF去实现,这篇文章会主要介绍一下在Flink on zeppelin里面使用UDF的3种方法.1, 开发scala代码并注册UDF因为目前zeppelin支持S...
Flink sql实现topN聚合结果写入kafka （Flink 1.11.0版本）
qq_31866793的博客
08-04 4879
先跟鸡哥打个广告 ，博客地址:https://me.csdn.net/weixin_47482194 写的博客很有水平的，上了几次官网推荐了。 步入正题，在大家接触Flink SQL的时候，肯定绕不过kafka，在写入kafka的时候，不晓得大家有没有遇到问题？如下： Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSinkrequiresthatTable...
flinksql 1.13 使用自定义function 调用静态库(.so)
yy的博客
11-07 415
目的 效果: 实现flinksql 1.13 中使用自定义函数(udf udaf udtf),并且自定义函数中调用 动态库(.so) // flink udf udaf udtf : https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/dev/table/functions/udfs/ // 写c代码; 写jna; 编译so文件; https://blog.csdn.net/qq_35515661/article/detai.
cmd运行jar包报错找不到主类_Flink 实时计算 - SQL 任务用户自定义 Jar 使用
weixin_39737224的博客
11-24 655
我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的 UD...
Flink实战之Flink SQL中的Map、Array、Row
m0_67390963的博客
03-20 8036
Flink sql支持Map、Array、Row类型，这几种类型在DDL中如何定义、如何获取、如何构造，本文做个总结。 以如下数据作为样例： { "id":1238123899121, "name":"asdlkjasjkdla998y1122", "date":"1990-10-14", "obj":{ "time1":"12:12:43Z", "str":"sfasfafs", "lg":2324342345 },
pyflink自定义udf
06-10
在 PyFlink 中自定义 UDF（User-Defined Function），可以使用 Python 编写 UDF 函数，并将其注册到 Flink 中。下面是一个简单的例子，演示如何使用 Python 编写 UDF 函数，并在 PyFlink 中注册和使用它： ```python from pyflink.table.udf import udf from pyflink.table import ScalarFunction from pyflink.table import DataTypes from pyflink.table import EnvironmentSettings # 自定义 UDF 函数 @udf(result_type=DataTypes.STRING(), func_type="scalar") def my_upper(s: str) -> str: return s.upper() # 创建 PyFlink 表环境 env_settings = EnvironmentSettings.new_instance().in_batch_mode().use_blink_planner().build() t_env = BatchTableEnvironment.create(environment_settings=env_settings) # 注册 UDF 函数 t_env.register_function("my_upper", my_upper) # 使用 UDF 函数 input_path = "/path/to/input" output_path = "/path/to/output" t_env.execute_sql(f""" CREATE TABLE my_input ( id INT, name STRING ) WITH ( 'connector' = 'csv', 'format' = 'csv', 'path' = '{input_path}' ) """) t_env.execute_sql(f""" CREATE TABLE my_output ( id INT, name_upper STRING ) WITH ( 'connector' = 'csv', 'format' = 'csv', 'path' = '{output_path}' ) """) t_env.execute_sql(""" INSERT INTO my_output SELECT id, my_upper(name) AS name_upper FROM my_input """) ``` 在上面的例子中，我们使用 `@udf` 装饰器定义了一个名为 `my_upper` 的 UDF 函数，用于将字符串转换为大写。然后，我们在 PyFlink 中注册了这个 UDF 函数，使用 `t_env.register_function` 方法将 `my_upper` 函数注册到 Flink 中。最后，我们使用 `my_upper` 函数将输入表中的字符串转换为大写，并将结果写入输出表中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值