FlinkSQL 自定义函数详解

已于 2023-07-20 17:02:04 修改
阅读量1.3k 收藏 1
点赞数 2
分类专栏： 基础 文章标签： flink sql 大数据 java
于 2023-07-18 17:53:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43732592/article/details/131788911
版权

FlinkSQL 函数详解

自定义函数

除了内置函数之外，FlinkSQL还支持自定义函数，我们可以通过自定义函数来扩展函数的使用FlinkSQL当中自定义函数主要分为四大类:

1.ScalarFunction: 标量函数
特点: 每次只接收一行的数据，输出结果也是 1 行 1列典型的标量函数如: upper(str),lower(str),abs(salary)

2.TableFunction: 表生成函数
特点: 运行时每接收一行数据(一个或多个字段)，能产出多行、多列的结果典型的如: explode(),unnest()

3.AggregateFunction: 聚合函数
特点:对输入的数据行 (一组)进行持续的聚合，最终对每组数据输出一行 (多列) 结果典型的如: sum(),max()

4.TableAggregateFunction: 表聚合函数
特点:对输入的数据行(一组)进行持续的聚合，最终对每组数据输出一行或多行(多列)结果

案例1 ScalarFunction

input/userbase.json

{"date_time":"2022-10-04 08:01:48","email":"kyzqcd0686@vjikg.tng","id":0,"name":"郑潮"}
{"date_time":"2022-10-04 08:06:31","email":"bvkqwbmgwi@qq.com","id":1,"name":"图丘喜造"}
{"date_time":"2022-10-04 08:04:39","email":"axvcbj7vbo@ecyi1.4gw","id":2,"name":"王联介"}
{"date_time":"2022-10-04 08:00:19","email":"ew1qu5sunz@caxtg.vtn","id":3,"name":"赖溯"}
{"date_time":"2022-10-04 08:04:51","email":"50xdhnfppw@vwreu.kxk","id":4,"name":"钱泼奎"}
{"date_time":"2022-10-04 08:02:25","email":"h8ist2s54kalorkp,79s","id":5,"name":"紧迟亏"}
{"date_time":"2022-10-04 08:05:22","email":"hnzfdmnjgo@rsiq9.syx","id":6,"name":"贾监"}
{"date_time":"2022-10-04 08:03:53","email":"apjlg5pyuo@hs6l0j4","id":7,"name":"蔡"}
{"date_time":"2022-10-04 08:05:35","email":"cpqofnn5xd@7iknhqc5","id":8,"name":"蔡不"}
{"date_time":"2022-10-04 08:05:03","email":"wg3nfjdv9@fomvu2kb","id":9,"name":"赖妖"}
{"date_time":"2022-10-04 08:06:37","email":"1kkaib5ie@ecvb86cs","id":10,"name":"毛溜拳"}

package org.example.udf;

import com.alibaba.fastjson.JSONObject;
import org.apache.flink.table.functions.FunctionContext;
import org.apache.flink.table.functions.ScalarFunction;

public class JsonParseFunction extends ScalarFunction {
    @Override
    public void open(FunctionContext context) throws Exception {
        super.open(context);
    }

    @Override
    public void close() throws Exception {
        super.close();
    }

    public String eval(String jsonLine, String key) {
        JSONObject jsonObject = JSONObject.parseObject(jsonLine);
        if (jsonObject.containsKey(key)) {
            return jsonObject.getString(key);
        } else {
            return "";
        }
    }
}


package org.example;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.example.udf.JsonParseFunction;

public class FlinkSqlscalarFunction {
    public static void main(String[] args) {
        //获取tableEnvironment
        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().build();

        TableEnvironment tableEnvironment = TableEnvironment.create(environmentSettings);

        tableEnvironment.executeSql("CREATE TABLE userbase (" +
                "line String  " +
                ")WITH(" +
                "'connector' = 'filesystem'," +
                "'path' = 'input/userbase.json'," +
                "'format' = 'raw'" + //定义数据内容为raw，表述一正好数据作为一条
                ")");

        tableEnvironment.sqlQuery("select * from userbase ").execute().print();
        tableEnvironment.createTemporarySystemFunction("JsonParse", JsonParseFunction.class);
        tableEnvironment.sqlQuery("select JsonParse(line,'date_time'),JsonParse(line,'email'),JsonParse(line,'id'),JsonParse(line,'name')  from userbase").execute().print();
    }
}

案例2 TableFunction

input/produce_user.json

{"begin_time":1665145907806,"price":258.7,"producetId":920956185,"userBaseList":[{"date_time":"2022-10-07 08:01:48","email":"kyzqcd0686@vjikg.tng","id":0,"name":"郑潮"},{"date_time":"2022-10-07 08:06:31","email":"bvkqwbmgwi@qq.com","id":1,"name":"图丘喜造"},{"date_time":"2022-10-07 08:04:39","email":"axvcbj7vbo@ecyi1.4gw","id":2,"name":"王联介"},{"date_time":"2022-10-07 08:00:19","email":"ew1qu5sunz@caxtg.vtn","id":3,"name":"赖溯"},{"date_time":"2022-10-07 08:04:51","email":"50xdhnfppw@vwreu.kxk","id":4,"name":"钱泼奎"}]}
{"begin_time":1665145915652,"price":258.7,"producetId":-786075263,"userBaseList":[{"date_time":"2022-10-07 08:02:25","email":"h8ist2s54kalorkp,79s","id":5,"name":"紧迟亏"},{"date_time":"2022-10-07 08:05:22","email":"hnzfdmnjgo@rsiq9.syx","id":6,"name":"贾监"},{"date_time":"2022-10-07 08:03:53","email":"apjlg5pyuo@hs6l0j4","id":7,"name":"蔡"},{"date_time":"2022-10-07 08:05:35","email":"cpqofnn5xd@7iknhqc5","id":8,"name":"蔡不"},{"date_time":"2022-10-07 08:05:03","email":"wg3nfjdv9@fomvu2kb","id":9,"name":"赖妖"}]}
{"begin_time":1665145927285,"price":258.7,"producetId":-988723330,"userBaseList":[{"date_time":"2022-10-07 09:01:48","email":"kyzqcd03486@vjikg.tng","id":11,"name":"郑潮1"},{"date_time":"2022-10-07 09:06:31","email":"bvkqwbm1gwi@qq.com","id":12,"name":"图丘喜造1"},{"date_time":"2022-10-07 10:04:39","email":"axvcbj71vbo@ecyi1.4gw","id":13,"name":"王联介3"},{"date_time":"2022-10-07 09:00:19","email":"ew11qu5sunz@caxtg.vtn","id":14,"name":"赖溯1"},{"date_time":"2022-10-07 09:04:51","email":"50xdhnfppw@vwre1u.kxk","id":15,"name":"钱泼奎1"}]}

package org.example.udtf;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table.annotation.FunctionHint;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.functions.ScalarFunction;
import org.apache.flink.table.functions.TableFunction;
import org.apache.flink.types.Row;

public class FlinkSQLTableFunction {
    public static void main(String[] args) {

        //获取tableEnvironment
        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().build();

        TableEnvironment tableEnvironment = TableEnvironment.create(environmentSettings);

        //创建表
        tableEnvironment.executeSql("CREATE TABLE userbase (" +
                "line String  " +
                ")WITH(" +
                "'connector' = 'filesystem'," +
                "'path' = 'input/produce_user.json'," +
                "'format' = 'raw'" + //定义数据内容为raw，表述一正好数据作为一条
                ")");
        //注册函数
        tableEnvironment.createTemporarySystemFunction("JsonFunc",JsonFunction.class);
        tableEnvironment.createTemporarySystemFunction("explodeFunc",ExplodeFunc.class);

        //逻辑编写
        tableEnvironment.sqlQuery("select JsonFunc(line,'begin_time'),JsonFunc(line,'price'),JsonFunc(line,'producetId'),id,name,date_time,email  from userbase,lateral table(explodeFunc (line,'userBaseList') )")
                .execute().print();

    }

    /**
     *自定义ScalarFunction,实现JSON格式的数据解析
     */
    public static class JsonFunction extends ScalarFunction{
        public String eval(String jsonLine, String key) {
            JSONObject jsonObject = JSONObject.parseObject(jsonLine);
            if(jsonObject.containsKey(key)){
                return jsonObject.getString(key);
            }else {
                return "";
            }
        }
    }
    //一条JsonArray数据进入，然后解析成为多条数据
    @FunctionHint(output = @DataTypeHint("ROW<id String,name String,date_time String,email String>"))
    public static class ExplodeFunc extends TableFunction{
        public void eval(String line,String key){
            JSONObject jsonObject = JSONObject.parseObject(line);
            JSONArray jsonArray = jsonObject.getJSONArray(key);
            for (int i = 0; i < jsonArray.size(); i++) {
                String date_time = jsonArray.getJSONObject(i).getString("date_time");
                String id = jsonArray.getJSONObject(i).getString("id");
                String name = jsonArray.getJSONObject(i).getString("name");
                String email = jsonArray.getJSONObject(i).getString("email");

                //使用collect来收集解析出来之后的数据
                collect(Row.of(id,name,date_time,email));
            }
        }
    }
}

案例3 AggregateFunction

input/score.csv

1,zhangsan,Chinese,80
1,zhangsan,Math,76
1,zhangsan,Science,84
1,zhangsan,Art,90
2,lisi,Chinese,60
2,lisi,Math,78
2,lisi,Science,86
2,lisi,Art,88

package org.example.udaf;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.functions.AggregateFunction;

public class FlinkSQLAggregrateFunction {
    public static void main(String[] args) {
        //获取tableEnvironment
        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().build();

        TableEnvironment tableEnvironment = TableEnvironment.create(environmentSettings);

        tableEnvironment.executeSql("CREATE TABLE source_score (" +
                "id int," +
                "name STRING," +
                "course STRING," +
                "score Double" +
                ")WITH(" +
                "'connector' = 'filesystem'," +
                "'path' = 'input/score.csv'," +
                "'format' = 'csv'" +
                ")");

        //注册函数
        tableEnvironment.createTemporarySystemFunction("AvgFunc",AvgFunc.class);

        tableEnvironment.executeSql("select course,AvgFunc(score) as avg_score from source_score group by course").print();
    }

    public static class AvgFunc extends AggregateFunction<Double, AvgAccumulator> {

        @Override
        public Double getValue(AvgAccumulator accumulator) {
            if (accumulator.count == 0) {
                return null;
            } else {
                return accumulator.sum / accumulator.count;
            }
        }

        @Override
        public AvgAccumulator createAccumulator() {
            return new AvgAccumulator();
        }

        public void accumulate(AvgAccumulator acc, Double score) {
            acc.setSum(acc.sum + score);
            acc.setCount(acc.count + 1);
        }
    }

    @Data
    @NoArgsConstructor
    @AllArgsConstructor
    public static class AvgAccumulator {
        public double sum = 0.0;
        public int count = 0;
    }
}

pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>flinkSql</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <scala.binary.version>2.12</scala.binary.version>
        <flink.version>1.14.3</flink.version>
        <hadoop.version>3.1.4</hadoop.version>
        <hbase.version>2.2.7</hbase.version>
        <hive.version>3.1.2</hive.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.22</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.73</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.15</version>
        </dependency>

        <!--flink  读写HDFS需要用到的jar包-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hadoop-compatibility_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-math3</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-compress</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-math3</artifactId>
            <version>3.5</version>
        </dependency>

        <!--flink 整合HBASE 需要用到的jar包-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-math3</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>

        <!--flink 整合kafka需要用到的jar包-->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-hdfs</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-compress</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.11.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
        </dependency>



    </dependencies>


     <build>
         <plugins>
             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-compiler-plugin</artifactId>
                 <version>3.1</version>
                 <configuration>
                     <source>1.8</source>
                     <target>1.8</target>
                 </configuration>
             </plugin>

             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-shade-plugin</artifactId>
                 <version>3.1.1</version>
                 <configuration>
                 </configuration>
                 <executions>
                     <execution>
                         <phase>package</phase>
                         <goals><goal>shade</goal></goals>
                     </execution>
                 </executions>
             </plugin>

             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-dependency-plugin</artifactId>
                 <version>2.10</version>
                 <executions>
                     <execution>
                         <id>copy-dependencies</id>
                         <phase>package</phase>
                         <goals><goal>copy-dependencies</goal></goals>
                         <configuration>
                             <outputDirectory>${project.build.directory}/lib</outputDirectory>
                         </configuration>
                     </execution>
                 </executions>
             </plugin>


             <!--<plugin>
                 <groupId>org.scala.tools</groupId>
                 <artifactId>maven-scala-plugin</artifactId>
                 <version>2.15.2</version>
                 <executions>
                     <execution>
                         <goals>
                             <goal>compile</goal>
                             <goal>testCompile</goal>
                         </goals>
                     </execution>
                 </executions>
             </plugin>-->


         </plugins>
     </build>

</project>
Tit先生
关注
专栏目录
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
Lansonli（蓝深李）的博客
09-17 1690
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
Flink SQL中TableFunction使用详解
TechWhiz的博客
08-28 292
在Flink SQL中，TableFunction是一个关键的概念，它允许用户将自定义的函数应用于表的每一行，并生成一个新的表作为输出。本文将详细介绍Flink SQL中TableFunction的使用，并提供相应的源代码示例。首先，我们需要定义一个继承自TableFunction的自定义函数，然后在查询语句中使用LATERAL TABLE关键字将函数应用于表的每一行。为了在Flink SQL中使用TableFunction，我们需要在表的查询语句中使用LATERAL TABLE关键字。
flinksql自定义函数
weixin_45150724的博客
03-05 791
官网位置 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/ UDF 一进一出的方式 package day07; import bean.SensorReading; import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator; import org.apache.flink.streaming.api.environ
flink-sql自定义函数-1.13
第一片心意的博客
08-02 1994
本文基于 Flink 1.13官网的自定义函数部分翻译整理，内容十分全面。
Flink使用指南: Flink SQL自定义函数
徐腾瑞的博客
06-18 5128
系列文章目录 Flink使用指南 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pand..
FlinkSQL自定义函数开发
2301_77342543的博客
07-17 899
Flink SQL 的自定义函数是用户可以自行编写的一种函数，用于扩展 Flink SQL 的功能。自定义函数可以在 SQL 查询中被调用，以完成用户自定义的数据处理逻辑。在 Flink SQL 中，自定义函数分为标量函数、表函数和聚合函数三种类型。
flink-sql自定义函数-1.14
第一片心意的博客
11-05 643
本文章为 flink 1.14 官网中 flink sql 自定义函数部分的翻译与整理。
FlinkSql深入解析：内置与自定义函数详解
当系统内置函数不能满足特定需求时，用户可以通过编写自定义函数来扩展功能。UDF在TableEnvironment中注册后，即可在查询中使用。例如，一个Java或Scala的函数通过`registerFunction()`方法注册，之后在TableAPI或...
Apache Flink：FlinkSQL从入门到实践详解
最新发布
10-15
主要内容涵盖了 SQL 接口与数据流 API 的区别比较，基本语法介绍，高级特性，比如连接不同数据源的操作方式、窗口操作、事件时间处理机制及如何自定义函数（ UDIF ）。最后探讨了如何通过 FlinkSQL 处理发现实时和...
【Flink Scala】Table API 自定义函数
HR的博客
04-03 2856
自定义函数内置函数UDF注册用户自定义函数 UDF标量函数表函数聚合函数表聚合函数 Flink Table和 SQL内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实 现用户自定义的函数（UDF）来解决。 内置函数 Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多 函数，Table API和SQL都已经做了实现，其它还在快速开发扩展中。 以下是一些典型函数的举例 比较函数 SQL Table API value1 = val.
flinksql获取系统当前时间搓_Flink的时间与watermarks详解
weixin_39533361的博客
12-20 1159
当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？Flink是如何处理乱序事件的？什么是水位线？水位线是如何生成的？水位线的传播方式是什么？让我们带着这些问题来开始本文的内容。时间语义基本概念时间是Flink等流处理中最重要的概念之一，在 Flink 中 Time 可以分为三种...
Flink_Sql_Function——自定义各种函数
weixin_43003792的博客
02-19 1569
函数（Functions） • Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数 • SQL 中支持的很多函数，Table API 和 SQL 都已经做了实现 Ø 比较函数 • SQL： value1 = value2 value1 > value2 • Table API： ANY1 === ANY2 ANY1 > ANY2 Ø 逻辑函数 • SQL： boolean1 OR boolean2 boolean IS FALSE NOT boolean • T
Flink原理实战每日一篇12 ---SQL 自定义函数
qq_31866793的博客
07-09 1043
一，自定义函数需要通过TableEnvironment 进行注册之后才可以使用，函数注册通过 tableEnv.registerFuntion()方法完成 内置函数 官网API地址：https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/table/functions.html 一，自定义函数分为三种 ...
FlinkSQL系列08-自定义函数
边看边学
09-01 1081
典型的标量函数如：upper(str), lower(str), abs(salary)特点：对输入的数据行（一组）进行持续的聚合，最终对每组数据输出一行或多行（多列）结果。特点：对输入的数据行（一组）进行持续的聚合，最终对每组数据输出一行（多列）结果。特点：运行时每接收一行数据（一个或多个字段），能产出多行、 多列的结果。特点：每次只接收一行的数据，输出结果也是 1 行 1 列。典型的如：explode( ), unnest ( )典型的如：sum( ), max( )...
Flink-SQL-UDF(自定义函数)
silmeweed的博客
08-04 6391
主要讲三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力. 1.用户自定义函数在使用之前是必须要注册的。调用TableEnvironment的registerFunction()方法来实现注册。Udf注册成功之后，会被插入TableEnvironment的function catalog，这样table API和sql就能解析他了。 2.
FlinkSQL学习笔记（四）常见表查询详解与用户自定义函数
weixin_37172178的博客
03-24 1715
1、本篇只列举一些特殊的查询方式，掌握这些查询语句的基本使用概念即可，实际用到的时候进行查询即可。2、通过对这些例子的编写，感觉Flink相比hive中常见的查询方式，更多地从时间角度进行了更新迭代，需要注意Lookup Join和Temporal Joins区别3、自定义函数，大致了解就行，后续用到直接套模板。
FlinkSQL-自定义聚合函数AggregateFunction
学习记录
07-29 1081
FlinkSQL-自定义聚合函数AggregateFunction什么是聚合函数聚合函数的实现聚合函数的工作原理代码实现测试用例 什么是聚合函数 聚合，多对一，类似窗口聚合 用户自定义聚合函数（User-Defined Aggregate Functions，UDAF）可以把一个表中的数据，聚合成一个标量值 用户定义的聚合函数，是通过继承 AggregateFunction 抽象类实现的 聚合函数的实现 AggregationFunction要求必须实现的方法 createAccumulator(
Flink-Sql自定义UDF
baifanwudi的专栏
07-22 7433
最近尝试使用flink的table-sql，发现没有from_unixtime函数，只能自定义该udf。 原始kafka消息日志 {"action":"exposure","itemId":"16c65063e51d4d834722bf1a4b1d6378@TT@1576","rankIndex":14,"time":"1563641998","unionId":"ohmdTtymqiQw5aSx...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值