FlinkSQL 自定义函数详解

已于 2023-07-20 17:02:04 修改
阅读量1k 收藏 1
点赞数 2
分类专栏： 基础 文章标签： flink sql 大数据 java
于 2023-07-18 17:53:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43732592/article/details/131788911
版权

FlinkSQL 函数详解

自定义函数

除了内置函数之外，FlinkSQL还支持自定义函数，我们可以通过自定义函数来扩展函数的使用FlinkSQL当中自定义函数主要分为四大类:

1.ScalarFunction: 标量函数
特点: 每次只接收一行的数据，输出结果也是 1 行 1列典型的标量函数如: upper(str),lower(str),abs(salary)

2.TableFunction: 表生成函数
特点: 运行时每接收一行数据(一个或多个字段)，能产出多行、多列的结果典型的如: explode(),unnest()

3.AggregateFunction: 聚合函数
特点:对输入的数据行 (一组)进行持续的聚合，最终对每组数据输出一行 (多列) 结果典型的如: sum(),max()

4.TableAggregateFunction: 表聚合函数
特点:对输入的数据行(一组)进行持续的聚合，最终对每组数据输出一行或多行(多列)结果

案例1 ScalarFunction

input/userbase.json

{"date_time":"2022-10-04 08:01:48","email":"kyzqcd0686@vjikg.tng","id":0,"name":"郑潮"}
{"date_time":"2022-10-04 08:06:31","email":"bvkqwbmgwi@qq.com","id":1,"name":"图丘喜造"}
{"date_time":"2022-10-04 08:04:39","email":"axvcbj7vbo@ecyi1.4gw","id":2,"name":"王联介"}
{"date_time":"2022-10-04 08:00:19","email":"ew1qu5sunz@caxtg.vtn","id":3,"name":"赖溯"}
{"date_time":"2022-10-04 08:04:51","email":"50xdhnfppw@vwreu.kxk","id":4,"name":"钱泼奎"}
{"date_time":"2022-10-04 08:02:25","email":"h8ist2s54kalorkp,79s","id":5,"name":"紧迟亏"}
{"date_time":"2022-10-04 08:05:22","email":"hnzfdmnjgo@rsiq9.syx","id":6,"name":"贾监"}
{"date_time":"2022-10-04 08:03:53","email":"apjlg5pyuo@hs6l0j4","id":7,"name":"蔡"}
{"date_time":"2022-10-04 08:05:35","email":"cpqofnn5xd@7iknhqc5","id":8,"name":"蔡不"}
{"date_time":"2022-10-04 08:05:03","email":"wg3nfjdv9@fomvu2kb","id":9,"name":"赖妖"}
{"date_time":"2022-10-04 08:06:37","email":"1kkaib5ie@ecvb86cs","id":10,"name":"毛溜拳"}

package org.example.udf;

import com.alibaba.fastjson.JSONObject;
import org.apache.flink.table.functions.FunctionContext;
import org.apache.flink.table.functions.ScalarFunction;

public class JsonParseFunction extends ScalarFunction {
    @Override
    public void open(FunctionContext context) throws Exception {
        super.open(context);
    }

    @Override
    public void close() throws Exception {
        super.close();
    }

    public String eval(String jsonLine, String key) {
        JSONObject jsonObject = JSONObject.parseObject(jsonLine);
        if (jsonObject.containsKey(key)) {
            return jsonObject.getString(key);
        } else {
            return "";
        }
    }
}


package org.example;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.example.udf.JsonParseFunction;

public class FlinkSqlscalarFunction {
    public static void main(String[] args) {
        //获取tableEnvironment
        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().build();

        TableEnvironment tableEnvironment = TableEnvironment.create(environmentSettings);

        tableEnvironment.executeSql("CREATE TABLE userbase (" +
                "line String  " +
                ")WITH(" +
                "'connector' = 'filesystem'," +
                "'path' = 'input/userbase.json'," +
                "'format' = 'raw'" + //定义数据内容为raw，表述一正好数据作为一条
                ")");

        tableEnvironment.sqlQuery("select * from userbase ").execute().print();
        tableEnvironment.createTemporarySystemFunction("JsonParse", JsonParseFunction.class);
        tableEnvironment.sqlQuery("select JsonParse(line,'date_time'),JsonParse(line,'email'),JsonParse(line,'id'),JsonParse(line,'name')  from userbase").execute().print();
    }
}

案例2 TableFunction

input/produce_user.json

{"begin_time":1665145907806,"price":258.7,"producetId":920956185,"userBaseList":[{"date_time":"2022-10-07 08:01:48","email":"kyzqcd0686@vjikg.tng","id":0,"name":"郑潮"},{"date_time":"2022-10-07 08:06:31","email":"bvkqwbmgwi@qq.com","id":1,"name":"图丘喜造"},{"date_time":"2022-10-07 08:04:39","email":"axvcbj7vbo@ecyi1.4gw","id":2,"name":"王联介"},{"date_time":"2022-10-07 08:00:19","email":"ew1qu5sunz@caxtg.vtn","id":3,"name":"赖溯"},{"date_time":"2022-10-07 08:04:51","email":"50xdhnfppw@vwreu.kxk","id":4,"name":"钱泼奎"}]}
{"begin_time":1665145915652,"price":258.7,"producetId":-786075263,"userBaseList":[{"date_time":"2022-10-07 08:02:25","email":"h8ist2s54kalorkp,79s","id":5,"name":"紧迟亏"},{"date_time":"2022-10-07 08:05:22","email":"hnzfdmnjgo@rsiq9.syx","id":6,"name":"贾监"},{"date_time":"2022-10-07 08:03:53","email":"apjlg5pyuo@hs6l0j4","id":7,"name":"蔡"},{"date_time":"2022-10-07 08:05:35","email":"cpqofnn5xd@7iknhqc5","id":8,"name":"蔡不"},{"date_time":"2022-10-07 08:05:03","email":"wg3nfjdv9@fomvu2kb","id":9,"name":"赖妖"}]}
{"begin_time":1665145927285,"price":258.7,"producetId":-988723330,"userBaseList":[{"date_time":"2022-10-07 09:01:48","email":"kyzqcd03486@vjikg.tng","id":11,"name":"郑潮1"},{"date_time":"2022-10-07 09:06:31","email":"bvkqwbm1gwi@qq.com","id":12,"name":"图丘喜造1"},{"date_time":"2022-10-07 10:04:39","email":"axvcbj71vbo@ecyi1.4gw","id":13,"name":"王联介3"},{"date_time":"2022-10-07 09:00:19","email":"ew11qu5sunz@caxtg.vtn","id":14,"name":"赖溯1"},{"date_time":"2022-10-07 09:04:51","email":"50xdhnfppw@vwre1u.kxk","id":15,"name":"钱泼奎1"}]}

package org.example.udtf;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table.annotation.FunctionHint;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.functions.ScalarFunction;
import org.apache.flink.table.functions.TableFunction;
import org.apache.flink.types.Row;

public class FlinkSQLTableFunction {
    public static void main(String[] args) {

        //获取tableEnvironment
        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().build();

        TableEnvironment tableEnvironment = TableEnvironment.create(environmentSettings);

        //创建表
        tableEnvironment.executeSql("CREATE TABLE userbase (" +
                "line String  " +
                ")WITH(" +
                "'connector' = 'filesystem'," +
                "'path' = 'input/produce_user.json'," +
                "'format' = 'raw'" + //定义数据内容为raw，表述一正好数据作为一条
                ")");
        //注册函数
        tableEnvironment.createTemporarySystemFunction("JsonFunc",JsonFunction.class);
        tableEnvironment.createTemporarySystemFunction("explodeFunc",ExplodeFunc.class);

        //逻辑编写
        tableEnvironment.sqlQuery("select JsonFunc(line,'begin_time'),JsonFunc(line,'price'),JsonFunc(line,'producetId'),id,name,date_time,email  from userbase,lateral table(explodeFunc (line,'userBaseList') )")
                .execute().print();

    }

    /**
     *自定义ScalarFunction,实现JSON格式的数据解析
     */
    public static class JsonFunction extends ScalarFunction{
        public String eval(String jsonLine, String key) {
            JSONObject jsonObject = JSONObject.parseObject(jsonLine);
            if(jsonObject.containsKey(key)){
                return jsonObject.getString(key);
            }else {
                return "";
            }
        }
    }
    //一条JsonArray数据进入，然后解析成为多条数据
    @FunctionHint(output = @DataTypeHint("ROW<id String,name String,date_time String,email String>"))
    public static class ExplodeFunc extends TableFunction{
        public void eval(String line,String key){
            JSONObject jsonObject = JSONObject.parseObject(line);
            JSONArray jsonArray = jsonObject.getJSONArray(key);
            for (int i = 0; i < jsonArray.size(); i++) {
                String date_time = jsonArray.getJSONObject(i).getString("date_time");
                String id = jsonArray.getJSONObject(i).getString("id");
                String name = jsonArray.getJSONObject(i).getString("name");
                String email = jsonArray.getJSONObject(i).getString("email");

                //使用collect来收集解析出来之后的数据
                collect(Row.of(id,name,date_time,email));
            }
        }
    }
}

案例3 AggregateFunction

input/score.csv

1,zhangsan,Chinese,80
1,zhangsan,Math,76
1,zhangsan,Science,84
1,zhangsan,Art,90
2,lisi,Chinese,60
2,lisi,Math,78
2,lisi,Science,86
2,lisi,Art,88

package org.example.udaf;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.functions.AggregateFunction;

public class FlinkSQLAggregrateFunction {
    public static void main(String[] args) {
        //获取tableEnvironment
        EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().build();

        TableEnvironment tableEnvironment = TableEnvironment.create(environmentSettings);

        tableEnvironment.executeSql("CREATE TABLE source_score (" +
                "id int," +
                "name STRING," +
                "course STRING," +
                "score Double" +
                ")WITH(" +
                "'connector' = 'filesystem'," +
                "'path' = 'input/score.csv'," +
                "'format' = 'csv'" +
                ")");

        //注册函数
        tableEnvironment.createTemporarySystemFunction("AvgFunc",AvgFunc.class);

        tableEnvironment.executeSql("select course,AvgFunc(score) as avg_score from source_score group by course").print();
    }

    public static class AvgFunc extends AggregateFunction<Double, AvgAccumulator> {

        @Override
        public Double getValue(AvgAccumulator accumulator) {
            if (accumulator.count == 0) {
                return null;
            } else {
                return accumulator.sum / accumulator.count;
            }
        }

        @Override
        public AvgAccumulator createAccumulator() {
            return new AvgAccumulator();
        }

        public void accumulate(AvgAccumulator acc, Double score) {
            acc.setSum(acc.sum + score);
            acc.setCount(acc.count + 1);
        }
    }

    @Data
    @NoArgsConstructor
    @AllArgsConstructor
    public static class AvgAccumulator {
        public double sum = 0.0;
        public int count = 0;
    }
}

pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>flinkSql</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <scala.binary.version>2.12</scala.binary.version>
        <flink.version>1.14.3</flink.version>
        <hadoop.version>3.1.4</hadoop.version>
        <hbase.version>2.2.7</hbase.version>
        <hive.version>3.1.2</hive.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.22</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.73</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.7.15</version>
        </dependency>

        <!--flink  读写HDFS需要用到的jar包-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hadoop-compatibility_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-math3</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-compress</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-math3</artifactId>
            <version>3.5</version>
        </dependency>

        <!--flink 整合HBASE 需要用到的jar包-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-math3</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>

        <!--flink 整合kafka需要用到的jar包-->

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-hdfs</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.commons</groupId>
                    <artifactId>commons-compress</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.11.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
        </dependency>



    </dependencies>


     <build>
         <plugins>
             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-compiler-plugin</artifactId>
                 <version>3.1</version>
                 <configuration>
                     <source>1.8</source>
                     <target>1.8</target>
                 </configuration>
             </plugin>

             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-shade-plugin</artifactId>
                 <version>3.1.1</version>
                 <configuration>
                 </configuration>
                 <executions>
                     <execution>
                         <phase>package</phase>
                         <goals><goal>shade</goal></goals>
                     </execution>
                 </executions>
             </plugin>

             <plugin>
                 <groupId>org.apache.maven.plugins</groupId>
                 <artifactId>maven-dependency-plugin</artifactId>
                 <version>2.10</version>
                 <executions>
                     <execution>
                         <id>copy-dependencies</id>
                         <phase>package</phase>
                         <goals><goal>copy-dependencies</goal></goals>
                         <configuration>
                             <outputDirectory>${project.build.directory}/lib</outputDirectory>
                         </configuration>
                     </execution>
                 </executions>
             </plugin>


             <!--<plugin>
                 <groupId>org.scala.tools</groupId>
                 <artifactId>maven-scala-plugin</artifactId>
                 <version>2.15.2</version>
                 <executions>
                     <execution>
                         <goals>
                             <goal>compile</goal>
                             <goal>testCompile</goal>
                         </goals>
                     </execution>
                 </executions>
             </plugin>-->


         </plugins>
     </build>

</project>
Tit先生
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
25、Flink 的table api与sql之函数(自定义函数示例)
alanchanchn的专栏
11-10 3万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
FlinkSQL-自定义标量函数ScalarFunction
11-10 415
public static class HashCode extends ScalarFunction{ private int factor = 13; public HashCode(int factor) { this.factor = factor; } //必须为public名字必须叫eval public int eval(String str){ return...
FlinkSQL系列08-自定义函数
边看边学
09-01 871
典型的标量函数如：upper(str), lower(str), abs(salary)特点：对输入的数据行（一组）进行持续的聚合，最终对每组数据输出一行或多行（多列）结果。特点：对输入的数据行（一组）进行持续的聚合，最终对每组数据输出一行（多列）结果。特点：运行时每接收一行数据（一个或多个字段），能产出多行、 多列的结果。特点：每次只接收一行的数据，输出结果也是 1 行 1 列。典型的如：explode( ), unnest ( )典型的如：sum( ), max( )...
Flink SQL中的操作符
huahuaxiaoshao的博客
07-22 2003
1 操作符 1.1 Show与Use （1） Show（批处理和流处理） -- 显示所有 catalog SHOW CATALOGS; -- 显示当前 catalog 中所有的数据库 SHOW DATABASES; -- 显示当前数据库、Catalog中的所有表 SHOW TABLES; （2） Use（批处理和流处理） -- 为本次会话设置 catalog USE CATALOG mycatalog; -- 为会话设置一个属于当前 catalog 的数据库 USE mydatabase; 1.2 Sc
Flink SQL中的函数
yingzi的技术博客
04-28 4830
Table API是内嵌在Java语言中的，很多方法需要在类中额外添加，扩展功能比较麻烦，目前支持的函数比较少，故一般情况下我们使用Flink SQL中的函数 Flink SQL中的函数主要分为两类： SQL内置函数，直接通过函数名调用，能够实现一些常用的转换操作，比如之前用到的COUNT()、CHAR_LENGTH()、UPPER等 用户自定义函数UDF，需要在表环境中注册使用 文章目录系统函数标量函数聚合函数自定义函数整体调用流程标量函数表函数聚合函数表聚合函数 系统函数 系统函数又叫内置函数，是在
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
【FlinkSql篇05】FlinkSql之函数1
08-04
在Flink SQL篇05中，我们探讨了Flink SQL中的函数，这些函数极大地丰富了对数据处理的能力。Flink Table API和SQL提供了广泛的内置函数，涵盖了比较、逻辑、算术、字符串以及时间等各类操作。同时，对于系统内建函数...
flink-sql集成rabbitmq
最新发布
06-29
Flink SQL支持标准的SQL语法，并且通过Table API提供了丰富的函数和操作符，包括聚合、窗口、连接等。 **RabbitMQ** 是基于AMQP（Advanced Message Queuing Protocol）协议的消息代理，能够可靠地路由和存储消息。...
高性能FlinkSQL优化技巧
03-01
MicroBatch和MiniBatch都是微批处理，只是微批的触发机制略有不同。原理同样是缓存一定的数据后再触发处理，以减少对State的访问，从而提升吞吐并减少数据的输出量。...MicroBatch是MiniBatch的升级版，主要基于事件...
Flink SQL大数据视频教程下载
09-15
它遵循 SQL:2003 标准，并提供了丰富的函数库和连接器，支持对流和批处理数据进行统一处理。在 Flink SQL 中，你可以定义表源、表Sink，以及对数据进行各种转换操作，例如选择、投影、分组、排序等。 二、Flink SQL...
Flink UDF函数
qq_32486597的博客
11-15 1108
Flink UDF函数介绍
FlinkSql函数
qq_36250202的博客
10-27 5357
rt AS TO_TIMESTAMP( FROM_UNIXTIME(ts) ) FROM_UNIXTIME 是系统内置的时间函数，用来将一个整数(秒数)转换成 “YYYY-MM-DD hh:mm:ss”格式(默认，也可以作为第二个 String 参数传入)的日期时间 字符串(date time string);然后再用 TO_TIMESTAMP 将其转换成 Timestamp ...
Flink SQL UNNEST/UDTF 如何实现列转行?
微信公众号：大数据从业者
11-01 410
在 SQL 任务里面经常会遇到一列转多行的需求,今天就来总结一下在 Flink SQL 里面如何实现列转行的,先来看下面的一个具体案例. 需求： 原始数据格式如下 name data JasonLee [{"content_type":"flink","url":"111"},{"content_type":"spark","url":"222"},{"content_t...
大数据命令
qq_36213530的博客
11-23 452
Linux（vi/vim） 一般模式 语法 功能描述 yy 复制光标当前一行 y数字y 复制一段（从第几行到第几行） p 箭头移动到目的行粘贴 u 撤销上一步 dd 删除光标当前行 d数字d 删除光标（含）后多少行 x 删除一个字母，相当于del X 删除一个字母，相当于Backspace yw 复制一个词 dw 删除一个词 shift+^ 移动到行头 shift+$ 移动到行尾
Flink 实践教程-进阶（10）：自定义聚合函数（UDAF）
cloudbigdata的博客
03-11 3109
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、...
FlinkSQL如何使用自定义函数
qq_37321134的博客
05-20 1775
使用Flink自定义函数前首先要明白，如何自定义函数： 关于自定义函数，请参考：Flink自定义函数的介绍与使用 以下是worldCount tableAPI的方式作为的Demo演示： import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; import org.apache.flink.api.common.functions.ReduceFunction; import org.apac
FlinkSQL使用自定义UDTF函数行转列-IK分词器
Rango_lhl的博客
05-04 671
一、背景说明 本文基于IK分词器，自定义一个UDTF（Table Functions），实现类似Hive的explode行转列的效果，以此来简明开发过程。 如下图Flink三层API接口中，Table API的接口位于最顶层也是最易用的一层，可以套用SQL语法进行代码编写，对于有SQL基础的能很快上手，但是不足之处在于灵活度有限，自有函数不能满足使用的时候，需要通过自定义函数实现，类似Hive的UDF/UDTF/UDAF自定义函数，在Flink也可以称之为Scalar Functions/Table Fun
数据分析小结：使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换
cloudbigdata的博客
03-03 4471
作者：吴云涛，腾讯 CSIG 高级工程师 在这个数据爆炸的时代，企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备，从而缩短整个数据分析的周期，让数据更有时效性，增加数据的价...
Flink SQL 入门和实战
小梁
12-16 722
文章目录一.Flink SQL 背景二、Flink SQL Hello_world三、Flink SQL 的语法和算子3.1 Flink SQL 的语法3.1 常用算子3.1.1 滚动窗口语法3.1.2滑动窗口3.1.3 Session Window 一.Flink SQL 背景 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算
flinksql自定义函数
05-25
FlinkSQL 支持自定义函数的开发和使用，可以通过实现特定的接口来定义自己的函数，然后在 FlinkSQL 中使用。 下面是自定义函数的示例代码： ```java import org.apache.flink.table.functions.ScalarFunction; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值