Flink 用户自定义函数（Demo）

最新推荐文章于 2024-09-15 22:17:33 发布

computer工程师

最新推荐文章于 2024-09-15 22:17:33 发布

阅读量222

点赞数 2

文章标签： flink 大数据

本文链接：https://blog.csdn.net/tiger_ziren/article/details/142172706

版权

Flink 内置的函数是有限的，有时是需要通过用户自定义函数来拓展这些函数。假如 floor 函数不是系统预设函数，也可以自己实现。

import java.time.LocalDateTime;
import java.time.temporal.ChronoUnit;

import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table.functions.ScalarFunction;

public class MyFloor extends ScalarFunction {

    public @DataTypeHint("TIMESTAMP(3)") LocalDateTime eval(
        @DataTypeHint("TIMESTAMP(3)") LocalDateTime timestamp) {

        return timestamp.truncatedTo(ChronoUnit.HOURS);
    }
}

然后就可以在你的应用中使用了。

public static Table report(Table transactions) {
    return transactions.select(
            $("account_id"),
            call(MyFloor.class, $("transaction_time")).as("log_ts"),
            $("amount"))
        .groupBy($("account_id"), $("log_ts"))
        .select(
            $("account_id"),
            $("log_ts"),
            $("amount").sum().as("amount"));
}

这条查询会从表 transactions 消费所有的记录，然后计算报表所需内容，最后将结果以高效、可拓展的方式输出。按此逻辑实现，可以通过测试。