Flink——支持的数据类型及UDF函数

最新推荐文章于 2023-01-01 13:24:00 发布

pia君

最新推荐文章于 2023-01-01 13:24:00 发布

阅读量1.2k

点赞数

分类专栏： java 文章标签： java

本文链接：https://blog.csdn.net/qq_43477550/article/details/121335058

版权

本文介绍了Flink支持的数据类型，包括基础数据类型、元组、样例类、POJOs以及其它集合类型。同时，详细阐述了UDF（用户定义函数）的使用，包括函数类、匿名函数和富函数（Rich Functions）的概念，特别是富函数的生命周期方法如open()、close()和getRuntimeContext()，以及它们在实现复杂功能中的作用。

摘要由CSDN通过智能技术生成

数据类型

基础数据类型
Flink 支持所有的 Java 和 Scala 基础数据类型，Int, Double, Long, String…
Java 和 Scala 元组（Tuples）
Scala样例类（case classes）
Java简单对象（POJOs）
其它（Arrays, Lists, Maps, Enums, 等等）

UDF函数

函数类
Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction 等等。

//自定义一个函数类
class MyFilter extends FilterFunction[SensorReading]{
   
  override def filter(value: SensorReading

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

pia君

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

flink 流 UDF

yy的博客

12-01

173

package UDFTestScalar import ceshi.SensorReading import org.apache.flink.streaming.api._ import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.flink.streaming.api.scala._ import org.apache.fl.

Flink——芒果TV的实时数仓建设实践

最新发布

爱吃辣条的博客

02-29

1584

Flink——芒果TV的实时数仓建设实践

参与评论您还未登录，请先登录后发表或查看评论

Flink整合ElasticSearch报错：java.lang.NoClassDefFoundError: org/apache/http/client/config/RequestConfig

逆天骚年的博客

07-09

2946

Flink版本1.6.0，ElasticSearch版本6.3.1 ElasticSearch Connector引入的依赖如下： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticse...

Flink UDF

阳光大男孩！！！的博客

01-01

1393

Flink UDF

Flink UDF函数

qq_32486597的博客

11-15

1219

Flink UDF函数介绍

flink sql之自定义UDF

cbb

12-31

1532

三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 一、Scalar Functions 标量函数标量函数，是指返回一个值的函数。标量函数是实现将0，1，或者多个标量值转化为一个新值。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。evaluation方

快速了解Flink——数据架构、执行流程等

weixin_41062002的博客

05-13

1330

一、什么是Flink Apache Flink官网的描述： Apache Flink is a framework and distributed processing engine for stateful computations overunbounded and boundeddata streams. Flink has been designed to run inall c...

大数据学习之Flink——15TableAPI 和 Flink SQL

bingque6535的博客

07-15

274

Table API 以及 SQL 能够统一处理批量和实时计算业务, 无须切换修改任何应用代码就能够基于同一套 API 编写流式应用和批量应用, 从而达到真正意义的批流统一一. 开发环境构建在使用 Table API 和 SQL 开发 Flink 应用之前, 通过添加 Maven 的依赖配置到项目中, 在本地工程中引入相应的依赖库, 库中包含了 TableAPI 和 SQL 接口。 <dependency> <groupId>org.apache.flink<.

Flink AggregateFunction窗口函数,自定义UDAF,UDF（一）

Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发

04-15

581

AggregateFunction 比 ReduceFunction 更加的通用，它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。

Flink UDF函数（Function）

forerunner123的博客

03-21

370

接口Function -》接口FilterFunction、MapFunction、FlatMapFunction、ReduceFunction、CoMapFunction 自定义Function，实现以上函数，并重写内部的方法。 ds.reduce(new myFunction()); class myFunction implements ReduceFunction<SensorReading>() { @Override public S

flink实战--UDF

阿华田的博客

01-19

5718

简介 UDF可以帮助我们极大地扩展了查询的表达能力，flink Sql自定义函数（UDF）和spark Sql 自定义函数原理是一样的，主要步骤无非就是，注册函数，自定义函数类实现flink自带的接口函数。和spark的UDF对比着来，下面介绍具体实现步骤。 UDF的分类和定义 UDF(User-Defined-Function)一进一出。 UDAF(User-...

零基础学Flink：UDF

麒思妙想

03-18

605

在上一篇文章中我们介绍了一些 Flink SQL 的基础内容，以及与 Spark SQL 对比，有兴趣的小伙伴可以点连接进去看看。这篇文章，我们来说说UDF(User...

【Flink】Flink各种UDF简介

九师兄

06-11

8013

1.本文会主要讲三种udf： ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。 2.注册用户自定义函数在大多数场景下，用户自定义函数在使用之前是必须要注册的。对于Scala的Table API，udf是不需要注册的。调用TableEnvironment的registerFunction()方法来实现注册。U.

Flink中的UDF的实现

qq_42456324的博客

12-03

1886

Flink 的 Table API 和 SQL 提供了多种自定义函数的接口，以抽象类的形式定义。当前 UDF 主要有以下几类：自定义标量函数可以把 0 个、 1 个或多个标量值转换成一个标量值，它对应的输入是一行数据中的字段，输出则是唯一的值。所以从输入和输出表中行数据的对应关系看，标量函数是“一对一”的转换，类似于hive中的UDF。想要实现自定义的标量函数，我们需要自定义一个类来继承抽象类 ScalarFunction，并实现叫作 eval() 的求值方法。标量函数的

Flink实现UDF函数

chaohui2638457321的博客

01-22

1032

5.5.1 函数类(Function Classes) Flink暴露了所有UDF函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。下面例子实现了FilterFunction接口： DataStream<String> flinkTweets = tweets.filter(new FlinkFilter()); public static class FlinkFilter implements Fil

(16) flink实现udf函数,细粒度的控制流

张不帅

12-09

1358

文章目录函数类富函数函数类 flink暴露所有udf函数的接口(实现方式为接口或者抽象类),例如MapFunction,FilterFunction,ProcessFunction等等 class FilterFilter extends FilterFunction[String] { override def filter(value : String) :Boolean = { ...

flink（十五）：udf自定义函数

幻神舞的专栏

04-08

5436

文章目录说明分享资料种类标量函数说明实例表值函数说明实例聚合函数说明代码实例表值聚合函数说明代码实例总结 2022-04-08 说明本博客每周五更新一次。自定义函数（UDF）是一种Flink 扩展开发机制，可在查询语句里实现自定义的功能逻辑。自定义函数可用 JVM 语言（例如 Java 或 Scala）或 Python 实现，推荐java或scala。分享大数据博客列表开发记录汇总个人java工具库项目https://gitee.com/wangzonghui/object-tool

【Flink】Flink自定义UDF以及为函数启用别名

九师兄

06-27

885

1.概述不启用别名，直接使用类名的方法请参考：【Flink】Could not instantiate the executor. Make sure a planner module is on the classpath 下面案例是使用别名函数定义如下 package org.apache.flink.table.sql.function.udf; import io.siddhi.annotation.Example; import io.siddhi.annotation.Extension

Flink API深度解析：数据类型与UDF函数详解

在Flink API的深入探索中，第05篇着重于核心概念——数据类型和用户定义函数(UDF)。Flink作为实时流处理框架，其核心任务是处理事件流，这就需要对数据进行有效的序列化、反序列化以及存储。Flink通过类型信息管理...