flinksql的udtf函数

于 2024-10-09 23:50:47 发布
阅读量1k 收藏 5
点赞数 5
文章标签： 大数据 flink 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46183404/article/details/142799327
版权

flinksql对于解析json字符串的性能存在性能瓶颈问题，每次解析都需要创建一次对象，而udtf函数只需要创建一次就可以解决这个问题，网上对于udtf的样例很少，现在我写一个真实场景样例供大家学习，

需求是解析json字符串的某一些字段，通过传入解析字段字符串来解决需要解析的字段问题

代码如下

package part_11;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table.annotation.FunctionHint;
import org.apache.flink.table.functions.TableFunction;
import org.apache.flink.types.Row;

@FunctionHint(output = @DataTypeHint("ROW<l1 STRING, l2 STRING,l3 STRING,l4 STRING,l5 STRING,l6 STRING,l7 STRING,l8 STRING,l9 STRING,l10 STRING,l11 STRING, l12 STRING,l13 STRING,l14 STRING,l15 STRING,l16 STRING,l17 STRING,l18 STRING,l19 STRING,l20 STRING,l21 STRING, l22 STRING,l23 STRING,l24 STRING,l25 STRING,l26 STRING,l27 STRING,l28 STRING,l29 STRING,l30 STRING,l31 STRING, l32 STRING,l33 STRING,l34 STRING,l35 STRING,l36 STRING,l37 STRING,l38 STRING,l39 STRING,l40 STRING,l41 STRING, l42 STRING,l43 STRING,l44 STRING,l45 STRING,l46 STRING,l47 STRING,l48 STRING,l49 STRING,l50 STRING>"))
public  class Udtf extends TableFunction<Row> {

    // 返回是 void，用 collect方法输出
    public void eval(String json, String line) throws Exception {
        com.fasterxml.jackson.databind.ObjectMapper objectMapper = new ObjectMapper();
        JsonNode jsonNode = objectMapper.readTree(json);
        String[] col = line.split(",");
        String c1 = jsonNode.path(col[0]).asText();
        //System.out.println(c1);
        String c2 = jsonNode.path(col[1]).asText();
        //System.out.println(c2);
        String c3 = jsonNode.path(col[2]).asText();
        String c4 = jsonNode.path(col[3]).asText();
        String c5 = jsonNode.path(col[4]).asText();
        //System.out.println(c5);
        String c6 = jsonNode.path(col[5]).asText();
        String c7 = jsonNode.path(col[6]).asText();
        String c8 = jsonNode.path(col[7]).asText();
        String c9 = jsonNode.path(col[8]).asText();
        String c10 = jsonNode.path(col[9]).asText();
        String c11 = jsonNode.path(col[10]).asText();
        String c12 = jsonNode.path(col[11]).asText();
        String c13 = jsonNode.path(col[12]).asText();
        String c14 = jsonNode.path(col[13]).asText();
        String c15 = jsonNode.path(col[14]).asText();
        String c16 = jsonNode.path(col[15]).asText();
        String c17 = jsonNode.path(col[16]).asText();
        String c18 = jsonNode.path(col[17]).asText();
        String c19 = jsonNode.path(col[18]).asText();
        String c20 = jsonNode.path(col[19]).asText();
        String c21 = jsonNode.path(col[20]).asText();
        String c22 = jsonNode.path(col[21]).asText();
        String c23 = jsonNode.path(col[22]).asText();
        String c24 = jsonNode.path(col[23]).asText();
        String c25 = jsonNode.path(col[24]).asText();
        String c26 = jsonNode.path(col[25]).asText();
        String c27 = jsonNode.path(col[26]).asText();
        String c28 = jsonNode.path(col[27]).asText();
        String c29 = jsonNode.path(col[28]).asText();
        String c30 = jsonNode.path(col[29]).asText();
        String c31 = jsonNode.path(col[30]).asText();
        String c32 = jsonNode.path(col[31]).asText();
        String c33 = jsonNode.path(col[32]).asText();
        String c34 = jsonNode.path(col[33]).asText();
        String c35 = jsonNode.path(col[34]).asText();
        String c36 = jsonNode.path(col[35]).asText();
        String c37 = jsonNode.path(col[36]).asText();
        String c38 = jsonNode.path(col[37]).asText();
        String c39 = jsonNode.path(col[38]).asText();
        String c40 = jsonNode.path(col[39]).asText();
        String c41 = jsonNode.path(col[40]).asText();
        String c42 = jsonNode.path(col[41]).asText();
        String c43 = jsonNode.path(col[42]).asText();
        String c44 = jsonNode.path(col[43]).asText();
        String c45 = jsonNode.path(col[44]).asText();
        String c46 = jsonNode.path(col[45]).asText();
        String c47 = jsonNode.path(col[46]).asText();
        String c48 = jsonNode.path(col[47]).asText();
        String c49 = jsonNode.path(col[48]).asText();
        String c50 = jsonNode.path(col[49]).asText();

        collect(Row.of(c1, c2, c3, c4, c5, c6, c7, c8, c9, c10, c11, c12, c13, c14, c15, c16, c17
                , c18, c19, c20, c21, c22, c23, c24, c25, c26, c27, c28, c29, c30, c31, c32, c33, c34, c35, c36, c37, c38, c39, c40,
                c41, c42, c43, c44, c45, c46, c47, c48, c49, c50));
    }
}

我这里是传入50个字段，对于不需要解析的字段可以后续在落表时直接去掉就可以

下面的是怎么调用样例，后续需要打成jar包去服务器上跑一下

package part_11;

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table.annotation.FunctionHint;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.functions.TableFunction;
import org.apache.flink.types.Row;
import static org.apache.flink.table.api.Expressions.$;


/**
 * TODO
 *
 * @author cjp
 * @version 1.0
 */
public class Udtf1 {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<String> strDS = env.fromElements(
//                "hello flink",
//                "hello world hi",
//                "hello java"
                "{\"name\":\"John\", \"age\":\"30\", \"city\":\"NewYork\"}"
                , "{\"name\":\"sdksk\", \"age\":\"90\", \"city\":\"lkdklsalk\"}",
                "{}"
        );
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
        String line = "name,age,city,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,a13,a14,a15,a16,a17,a18,a19,a20,a21,a22,a23,a24,a25,a26,a27,a28,a29,a30,a31,a32,a33,a34,a35,a36,a37,a38,a39,a40,a41,a42,a43,a44,a45,a46,a47";
        Table sensorTable = tableEnv.fromDataStream(strDS, $("words"));
        tableEnv.createTemporaryView("str", sensorTable);
        // TODO 2.注册函数
        tableEnv.createTemporaryFunction("JsonFunction", JsonFunction.class);
        // TODO 3.调用 自定义函数
        // 3.1 交叉联结
        tableEnv
                // 3.1 交叉联结
                .sqlQuery("select l1 as name,l2 as age,l3 as city,l4,l5,l6,l7,l8,l9,l10,l11 ,l12 ,l13 ,l14,l15,l16,l17,l18,l19,l20,l21 ,l22 ,l23 ,l24,l25,l26,l27,l28,l29,l30,l31 ,l32 ,l33 ,l34,l35,l36,l37,l38,l39,l40,l41 ,l42 ,l43 ,l44,l45,l46,l47,l48,l49,l50 from str,lateral table (JsonFunction(words,  '" + line + "'  ))")
                // 3.2 带 on  true 条件的 左联结
//                .sqlQuery("select words,word,length from str left join lateral table(SplitFunction(words)) on true")
                // 重命名侧向表中的字段
                //.sqlQuery("select words,newWord,newLength from str left join lateral table(SplitFunction(words))  as T(newWord,newLength) on true")
                .execute()
                .print();


    }


    // TODO 1.继承 TableFunction<返回的类型>
    // 类型标注： Row包含两个字段：word和length
    @FunctionHint(output = @DataTypeHint("ROW<l1 STRING, l2 STRING,l3 STRING,l4 STRING,l5 STRING,l6 STRING,l7 STRING,l8 STRING,l9 STRING,l10 STRING,l11 STRING, l12 STRING,l13 STRING,l14 STRING,l15 STRING,l16 STRING,l17 STRING,l18 STRING,l19 STRING,l20 STRING,l21 STRING, l22 STRING,l23 STRING,l24 STRING,l25 STRING,l26 STRING,l27 STRING,l28 STRING,l29 STRING,l30 STRING,l31 STRING, l32 STRING,l33 STRING,l34 STRING,l35 STRING,l36 STRING,l37 STRING,l38 STRING,l39 STRING,l40 STRING,l41 STRING, l42 STRING,l43 STRING,l44 STRING,l45 STRING,l46 STRING,l47 STRING,l48 STRING,l49 STRING,l50 STRING>"))
    public static class JsonFunction extends TableFunction<Row> {

        // 返回是 void，用 collect方法输出
        public void eval(String json, String line) throws Exception {
            ObjectMapper objectMapper = new ObjectMapper();
            JsonNode jsonNode = objectMapper.readTree(json);
            String[] col = line.split(",");
            String c1 = jsonNode.path(col[0]).asText();
            //System.out.println(c1);
            String c2 = jsonNode.path(col[1]).asText();
            //System.out.println(c2);
            String c3 = jsonNode.path(col[2]).asText();
            String c4 = jsonNode.path(col[3]).asText();
            String c5 = jsonNode.path(col[4]).asText();
            //System.out.println(c5);
            String c6 = jsonNode.path(col[5]).asText();
            String c7 = jsonNode.path(col[6]).asText();
            String c8 = jsonNode.path(col[7]).asText();
            String c9 = jsonNode.path(col[8]).asText();
            String c10 = jsonNode.path(col[9]).asText();
            String c11 = jsonNode.path(col[10]).asText();
            String c12 = jsonNode.path(col[11]).asText();
            String c13 = jsonNode.path(col[12]).asText();
            String c14 = jsonNode.path(col[13]).asText();
            String c15 = jsonNode.path(col[14]).asText();
            String c16 = jsonNode.path(col[15]).asText();
            String c17 = jsonNode.path(col[16]).asText();
            String c18 = jsonNode.path(col[17]).asText();
            String c19 = jsonNode.path(col[18]).asText();
            String c20 = jsonNode.path(col[19]).asText();
            String c21 = jsonNode.path(col[20]).asText();
            String c22 = jsonNode.path(col[21]).asText();
            String c23 = jsonNode.path(col[22]).asText();
            String c24 = jsonNode.path(col[23]).asText();
            String c25 = jsonNode.path(col[24]).asText();
            String c26 = jsonNode.path(col[25]).asText();
            String c27 = jsonNode.path(col[26]).asText();
            String c28 = jsonNode.path(col[27]).asText();
            String c29 = jsonNode.path(col[28]).asText();
            String c30 = jsonNode.path(col[29]).asText();
            String c31 = jsonNode.path(col[30]).asText();
            String c32 = jsonNode.path(col[31]).asText();
            String c33 = jsonNode.path(col[32]).asText();
            String c34 = jsonNode.path(col[33]).asText();
            String c35 = jsonNode.path(col[34]).asText();
            String c36 = jsonNode.path(col[35]).asText();
            String c37 = jsonNode.path(col[36]).asText();
            String c38 = jsonNode.path(col[37]).asText();
            String c39 = jsonNode.path(col[38]).asText();
            String c40 = jsonNode.path(col[39]).asText();
            String c41 = jsonNode.path(col[40]).asText();
            String c42 = jsonNode.path(col[41]).asText();
            String c43 = jsonNode.path(col[42]).asText();
            String c44 = jsonNode.path(col[43]).asText();
            String c45 = jsonNode.path(col[44]).asText();
            String c46 = jsonNode.path(col[45]).asText();
            String c47 = jsonNode.path(col[46]).asText();
            String c48 = jsonNode.path(col[47]).asText();
            String c49 = jsonNode.path(col[48]).asText();
            String c50 = jsonNode.path(col[49]).asText();

            collect(Row.of(c1, c2, c3, c4, c5, c6, c7, c8, c9, c10, c11, c12, c13, c14, c15, c16, c17
                    , c18, c19, c20, c21, c22, c23, c24, c25, c26, c27, c28, c29, c30, c31, c32, c33, c34, c35, c36, c37, c38, c39, c40,
                    c41, c42, c43, c44, c45, c46, c47, c48, c49, c50));
//            for (String word : str.split(" ")) {
//                collect(Row.of(word, word.length()));
//            }
        }
    }
}

运行结果如下：

对于解析不出来的字段直接就是为空串可以避免null值影响

本案例供大家学习，网上资料真的少

平凡天下
关注
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
Lansonli（蓝深李）的博客
09-17 1965
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
Flink SQL: 用户自定义函数（UDF、UDAF、UDTF）的使用与编程
Book_Sea的博客
09-20 409
除了 UDF，Flink 还提供了用户自定义聚合函数（User-Defined Aggregate Functions，简称 UDAF）和用户自定义表函数（User-Defined Table Functions，简称 UDTF），它们分别用于聚合操作和表操作。综上所述，用户自定义函数（UDF、UDAF、UDTF）是 Flink SQL 中强大的功能，它们使得开发者可以根据业务需求对输入数据流进行自定义操作，扩展了 Flink SQL 的功能和灵活性。
Flink 实践教程-进阶（9）：自定义表值函数（UDTF）
cloudbigdata的博客
03-03 2231
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝...
Flink-sql自定义udtf 函数
wudonglianga的专栏
08-12 922
1. 用自定义的函数在Flink Sql 中使用 1.1 官网也说的很详细 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/udfs.html 1.1.1 官网上面的例子： import org.apache.flink.table.annotation.DataTypeHint; import org.apache.flink.table.annotation.FunctionHint; im
FlinkSQL 自定义UDTF函数解析kafka json数组并写入kudu
diyicedaan的专栏
10-08 428
1.kafka有如下 json数组 的数据，flink 需要自定义UDTF 函数解析。3. flinksql 逻辑。2. idea 代码如下。
FlinkSQL使用自定义UDTF函数行转列-IK分词器
weixin_48967543的博客
05-09 507
一、背景说明优惠券网 www.cps3.cn 本文基于IK分词器，自定义一个UDTF（Table Functions），实现类似Hive的explode行转列的效果，以此来简明开发过程。 如下图Flink三层API接口中，Table API的接口位于最顶层也是最易用的一层，可以套用SQL语法进行代码编写，对于有SQL基础的能很快上手，但是不足之处在于灵活度有限，自有函数不能满足使用的时候，需要通过自定义函数实现，类似Hive的UDF/UDTF/UDAF自定义函数，在Flink也可以称之为Scalar Fu.
Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF
热门推荐
王佩的CSDN博客
12-08 1万+
本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价...
Flink 自定义UDTF
L, there!
08-11 1847
Flink自定义函数实现列传行，数据格式为Json数据：[{"key1":"value1","key2":"value2"...}] Java @FunctionHint(output = @DataTypeHint("ROW<drugUniversalName string, specifications string, goodsUnit string, " + "location string, instruction string, consumption strin.
【Flink】Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF
九师兄
06-03 3549
本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价值 // eventTime: 北京时间，方便测试。如下，乱序数据: {"userID": "user_5", "eventTi.
flinksql 流表转换， 自定义udf/udtf，SQL 内置函数及自定义函数
Direction_Wind的博客
02-20 1577
1、在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为 Scala 的 Table API 注册函数。2、函数通过调用 registerFunction（）方法在 TableEnvironment 中注册。当用户定义的函数 被注册时，它被插入到 TableEnvironment 的函数目录中，这样 Table API 或 SQL 解析器就可 以识别并正确地解释它函数总结，函数总分为四大类。
FlinkSQL自定义UDTF使用的四种方式
大数据研习社
06-28 1964
FlinkSQL的Table functions对标Hive的UDTF，可以实现数据⼀进多出的炸裂效果，广泛应用与电商、运营商、手机厂商等数据处理过程。
Flink流处理中使用UDTF编程
CyberXZ的博客
09-17 243
UDTF（User-Defined Table Function）是Apache Flink流处理框架中的一种编程模式，它允许开发人员自定义函数来处理流数据，并生成结果表。在本文中，我们将深入探讨如何在Flink中使用UDTF进行流处理，并提供相应的源代码示例。通过自定义UDTF函数，我们可以对流数据进行灵活的处理，并生成相应的结果表。在上述示例中，我们首先创建了一个包含两个输入元素的数据流，并将其注册为一个名为"input"的表。然后，我们可以将输入流注册为一个表，并在该表上应用UDTF函数。
Flink自定义函数之表值函数（UDTF函数）
marui156的专栏
05-18 548
用户定义的表函数将零个，一个或多个标量值作为输入参数。返回任意数量的行作为输出，返回的行可以包含一个或多个列。与标量函数区别：相同：都是将零个、一个或多个标量值作为输入参数差异：标量函数返回单个值作为输出，表值函数返回任意数量的行作为输出。
flink UDTF函数的编写
stop_here_find的博客
11-10 934
将含有n个json的jsonarray转换成n条数据，且每个字段都解析出来。即一反多的函数，使用场景较为广泛，近期也正好用到了，就写一下吧。jar包需要放在flink安装目录的lib里。
Flink-sql自定义UDTFA函数
wudonglianga的专栏
08-19 263
1. 用自定义的函数在Flink Sql 中使用 1.1 官网也说的很详细 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/tableApi.html 1.1.1 官网上面的例子： ** * Accumulator for Top2. */ public class Top2Accum { public Integer first; public Integer second; } /**
flink 流 UDTF
yy的博客
12-01 653
package UDFTestScalar import ceshi.SensorReading import org.apache.flink.streaming.api._ import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.flink.streaming.api.scala._ import org.apache.fl.
Flink使用指南: Flink SQL自定义函数
徐腾瑞的博客
06-18 5209
系列文章目录 Flink使用指南 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pand..
空0009
Direction_Wind的博客
03-31 2523
9。
flink sql if函数
最新发布
01-02
### Flink SQL 中 IF 函数的使用 在Flink SQL中，`IF`函数用于条件判断。此函数接受三个参数：第一个是一个布尔表达式；第二个是在布尔表达式为真时返回的结果；第三个是在布尔表达式为假时返回的结果。 #### 基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值