Flink 部分Function的依赖关系

最新推荐文章于 2023-09-19 09:34:17 发布
最新推荐文章于 2023-09-19 09:34:17 发布
阅读量865 收藏 1
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pageniao/article/details/115445014
版权

1. Function 接口的实现

Function (org.apache.flink.api.common.functions)

RichFunction (org.apache.flink.api.common.functions)
MapFunction (org.apache.flink.api.common.functions)
KeySelector (org.apache.flink.api.java.functions)
ReduceFunction (org.apache.flink.api.common.functions)
SinkFunction (org.apache.flink.streaming.api.functions.sink)
FlatMapFunction (org.apache.flink.api.common.functions)
FilterFunction (org.apache.flink.api.common.functions)
AggregateFunction (org.apache.flink.api.common.functions)
SourceFunction (org.apache.flink.streaming.api.functions.source)
JoinFunction (org.apache.flink.api.common.functions)
AllWindowFunction (org.apache.flink.streaming.api.scala.function)
CrossFunction (org.apache.flink.api.common.functions)
CoFlatMapFunction (org.apache.flink.streaming.api.functions.co)
FlatJoinFunction (org.apache.flink.api.common.functions)
FoldFunction (org.apache.flink.api.common.functions)
CombineFunction (org.apache.flink.api.common.functions)
AsyncFunction (org.apache.flink.streaming.api.functions.async)
Partitioner (org.apache.flink.api.common.functions)
TimestampAssigner (org.apache.flink.streaming.api.functions)
AggsHandleFunctionBase (org.apache.flink.table.runtime.generated)
GroupCombineFunction (org.apache.flink.api.common.functions)
MapBundleFunction (org.apache.flink.table.runtime.operators.bundle)
CoMapFunction (org.apache.flink.streaming.api.functions.co)
TimestampExtractor (org.apache.flink.streaming.api.functions)
NamespaceAggsHandleFunctionBase (org.apache.flink.table.runtime.generated)
GroupReduceFunction (org.apache.flink.api.common.functions)
WindowFunction (org.apache.flink.streaming.api.functions.windowing)
CoGroupFunction (org.apache.flink.api.common.functions)
InternalWindowFunction (org.apache.flink.streaming.runtime.operators.windowing.functions)
MapPartitionFunction (org.apache.flink.api.common.functions)
AllWindowFunction (org.apache.flink.streaming.api.functions.windowing)
AggregationsFunction (org.apache.flink.table.runtime.aggregate)
WindowFunction (org.apache.flink.streaming.api.scala.function)
AsyncFunction (org.apache.flink.streaming.api.scala.async)

1.1 RichFunction 的实现

AbstractRichFunction (org.apache.flink.api.common.functions)
JoinCondition (org.apache.flink.table.runtime.generated)
ScalaWindowFunctionWrapper (org.apache.flink.streaming.api.scala.function.util)
ScalaAllWindowFunctionWrapper (org.apache.flink.streaming.api.scala.function.util)
StatefulFunction (org.apache.flink.streaming.api.scala.function)

1.1.1 AbstractRichFunction 的实现

RichSinkFunction (org.apache.flink.streaming.api.functions.sink)
RichReduceFunction (org.apache.flink.api.common.functions)
RichSourceFunction (org.apache.flink.streaming.api.functions.source)
ProcessFunction (org.apache.flink.streaming.api.functions)
KeyedProcessFunction (org.apache.flink.streaming.api.functions)
RichFlatMapFunction (org.apache.flink.api.common.functions)
ProcessJoinFunction (org.apache.flink.streaming.api.functions.co)
NoOpFunction (org.apache.flink.api.common.functions.util)
TableFunctionResultFuture (org.apache.flink.table.runtime.collector)
CoProcessFunction (org.apache.flink.streaming.api.functions.co)
RichGroupReduceFunction (org.apache.flink.api.common.functions)
KeyedCoProcessFunction (org.apache.flink.streaming.api.functions.co)
TerminationCriterionMapper in BulkIterationBase (org.apache.flink.api.common.operators.base)
RichCoFlatMapFunction (org.apache.flink.streaming.api.functions.co)
RichCrossFunction (org.apache.flink.api.common.functions)
RichAsyncFunction (org.apache.flink.streaming.api.functions.async)
RichJoinFunction (org.apache.flink.api.common.functions)
RichFoldFunction (org.apache.flink.api.common.functions)
WatermarkGenerator (org.apache.flink.table.runtime.generated)
MapProjector in PlanProjectOperator (org.apache.flink.api.java.operators.translation)
ProcessAllWindowFunction (org.apache.flink.streaming.api.functions.windowing)
RichParallelSourceFunction (org.apache.flink.streaming.api.functions.source)
RichAllWindowFunction (org.apache.flink.streaming.api.functions.windowing)
JoinConditionWithNullFilters in AbstractStreamingJoinOperator (org.apache.flink.table.runtime.operators.join.stream)
RichWindowFunction (org.apache.flink.streaming.api.functions.windowing)
RichCoGroupFunction (org.apache.flink.api.common.functions)
RichCoMapFunction (org.apache.flink.streaming.api.functions.co)
TableFunctionCollector (org.apache.flink.table.runtime.collector)
RichGroupCombineFunction (org.apache.flink.api.common.functions)
RichMapPartitionFunction (org.apache.flink.api.common.functions)
WrappingFunction (org.apache.flink.api.java.operators.translation)
ProcessWindowFunction (org.apache.flink.streaming.api.functions.windowing)
RichAggregateFunction (org.apache.flink.api.common.functions)
RichFlatJoinFunction (org.apache.flink.api.common.functions)
BaseBroadcastProcessFunction (org.apache.flink.streaming.api.functions.co)
DataSetPreAggFunction (org.apache.flink.table.runtime.aggregate)
ProcessAllWindowFunction (org.apache.flink.streaming.api.scala.function)
RichAllWindowFunction (org.apache.flink.streaming.api.scala.function)
DataSetSessionWindowAggregatePreProcessor (org.apache.flink.table.runtime.aggregate)
TableFunctionCollector (org.apache.flink.table.runtime)
RichWindowFunction (org.apache.flink.streaming.api.scala.function)
ProcessWindowFunction (org.apache.flink.streaming.api.scala.function)
RichAsyncFunction (org.apache.flink.streaming.api.scala.async)

1.2 各类Function的区别

转换算子是无法访问事件的时间戳信息和水位线信息的。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。
基于此，DataStream API提供了一系列的Low-Level转换算子。
这类Function实现RichFunction接口，而其定制化了以下四种方法

void open(Configuration parameters) throws Exception;
void close() throws Exception;
RuntimeContext getRuntimeContext();
IterationRuntimeContext getIterationRuntimeContext();
void setRuntimeContext(RuntimeContext t);

它们能够做到下面的功能：

能进行状态编程
可以访问时间戳、watermark
注册定时事件
输出特定的一些事件，例如超时事件等
Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如，Flink SQL就是使用Process Function实现的
实现状态编程

Process Function定时器、测输出流参考
状态编程参考

1.3 直接对KeyedStream流运用状态编程方法

其实KeyedStream的reduce、max、min内部逻辑本来就是运用到了状态编程，如果在实际中要运用状态编程，能直接使用这些方法会更便捷

filterWithState
mapWithState
flatMapWithState

状态编程参考

pageniao
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink学习
qq_39922867的博客
01-09 185
import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.D...
解决 storm 本地启动失败问题
你看你细细看
10-26 705
报错内容 Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/topology/IRichSpout at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.priv
flink Reduce、GroupReduce、GroupCombine笔记
b078109的专栏
06-30 1214
1、reduce操作，在分组的dataset上使用，也可以在不分组的dataset上使用 应用于分组DataSet的Reduce转换使用用户定义的reduce函数将每个组减少为单个元素。对于每组输入元素，reduce函数连续地将元素对组合成一个元素，直到每个组只剩下一个元素。 注意，对于ReduceFunction，返回对象的key字段应与输入值匹配。这是因为reduce是可...
Flink java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction
weixin_43813200的博客
07-19 651
ORM。
Flink 测试报错 java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction
u013568834的专栏
08-05 2363
java.lang.NoClassDefFoundError: org/apache/flink/api/common/functions/FlatMapFunction at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.
Flink中reduce的4种方式
dinghua_xuexi的专栏
08-03 4224
def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val path = this.getClass.getResource("/data.txt").getPath val text = env.readTextFile(path).setParallelism(2) val group_ds = text.flatMap(_.spli.
flink官方风险检测demo
最新发布
10-20
在Flink中，可以通过SourceFunction定义数据源，例如Kafka、Socket、文件等，将实时交易数据引入到处理流程。 4. **数据转换与清洗** 数据可能包含噪声或不完整信息，因此在分析之前需要进行预处理。Flink的map...
flink实践操作.docx
04-20
在使用 Flink 之前，需要添加依赖的 jar 包，包括 org.apache.flink 的 flink-scala_2.11 和 flink-streaming-scala_2.11_Two 依赖项。 二、执行环境 Flink 提供了两个执行环境，分别是批处理环境和流式处理环境。...
flink自定义数据源源码
02-07
Flink的数据摄入流程主要依赖于Source和Sink的概念。Source代表数据的输入，而Sink则代表数据的输出。在Flink中，用户可以定义自己的Source来处理非标准的数据源，如自定义的日志文件、数据库连接、网络套接字等。 ...
flink(java)笔记
01-08
在Java项目中，引入Flink的依赖库，例如通过Maven或Gradle。 ### 3. Java API入门 Flink的Java API提供了丰富的接口用于创建数据流作业，如DataStream和DataSet。DataStream用于处理无界和有界流，而DataSet用于...
Java lambda表达式实现Flink WordCount过程解析
08-25
首先，需要引入Flink的依赖项，包括flink-java和flink-streaming-java_2.11。然后，创建一个Flink流处理环境StreamExecutionEnvironment，并自定义一个SourceFunction来生成文本数据流。 在自定义的SourceFunction...
23.Flink-高级特性-新特性-Streaming Flie Sink\介绍\代码演示\Flink-高级特性-新特性-FlinkSQL整合Hive\添加依赖和jar包和配置
涂作权的博客
07-09 682
23.Flink-高级特性-新特性-Streaming Flie Sink 23.1.介绍 23.2.代码演示 24.Flink-高级特性-新特性-FlinkSQL整合Hive 24.1.介绍 24.2.版本 24.3.添加依赖和jar包和配置 24.4.FlinkSQL整合Hive-CLI命令行整合 24.5.FlinkSQL整合Hive-代码整合https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/stre
flink应用
wejboke626的博客
06-12 330
本文主要内容一、flink开发实现1.1、flink程序基本结构1.2、flink依赖包二、flink日志管理2.1、log4j2日志使用2.2、log4j2日志配置三、flink任务提交及查看3.1、flink client 提交flink任务3.2、dolphion提交flink任务四、flink任务监控4.1、flink监控方案4.2、flink监控案例 一、flink开发实现 1.1、flink程序基本结构 1.2、flink依赖包 二、flink日志管理 2.1、log4j2日志使用 2.2、lo
Flink之Transformation
SuperBoy_Liang的博客
03-14 618
Flink常见的转换算子说明，如map、filter、flatmap、reduce、keyby等
Flink依赖整理
qq_46411309的博客
07-22 4636
一、依赖下载地址Maven Repository https://mvnrepository.com/ 二、Flink的项目依赖 2.1Flink 核心依赖 Flink 核心依赖项包含系统运行所需的类和依赖项，在启动Flink应用程序时必须存在， 不包含任何连接器或库，保证尽可能小，避免依赖项冲突。 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-core --> <dependency> <
org.apache.flink.api.common.functions.InvalidTypesException: The return type of function ‘main(Batch
CSDN 精品推荐
09-19 243
使用Flink写一个批处理程序，然后提交运行出现了 `Exception in thread "main" org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'main(BatchWordCount.java:28)' could not be determined automatically, due to type erasure. You can give type info
Flink第一个入门程序
weixin_39868387的博客
07-02 606
上篇：学习flink概述入门篇 下载java的Flink工程项目模板 在window环境下的cmd窗口下，执行该命令，生成flink（java语言）项目模板 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.0 -DgroupId=cn._51doit.flink -DartifactId=flink
Flink笔记
weixin_49113403的博客
02-01 1379
其实就是实现FilterFuntion方法之类的Rich Funtion函数类，RichReduceFuntion,RichFilter Function等只要带Rich的，就可以获取上下文环境和生命周期方法例如open（）和close（）方法open（）初始化，只会在算子运行之前调用一次，有多个并行度，调用多次close（），一般用来做一些清理工作getRuntimeContext（），获取上下文的信息重写 invoke方法。
采用DleayQueue自定义flink的Source function产生测试数据
05-25
首先，我们需要导入以下依赖： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> ``` 然后，我们可以定义一个自定义的Source Function，使用DelayQueue产生测试数据。下面是一个简单的示例代码： ```java import org.apache.flink.streaming.api.functions.source.SourceFunction; import java.util.concurrent.DelayQueue; import java.util.concurrent.Delayed; import java.util.concurrent.TimeUnit; public class DelayedEventSource implements SourceFunction<DelayedEvent> { private volatile boolean running = true; private final DelayQueue<DelayedEvent> queue = new DelayQueue<>(); public void run(SourceContext<DelayedEvent> ctx) throws Exception { while (running) { DelayedEvent event = queue.take(); ctx.collect(event); } } public void cancel() { running = false; } public void addEvent(long timestamp, String message) { queue.put(new DelayedEvent(timestamp, message)); } public static class DelayedEvent implements Delayed { private final long timestamp; private final String message; public DelayedEvent(long timestamp, String message) { this.timestamp = timestamp; this.message = message; } public long getDelay(TimeUnit unit) { long diff = timestamp - System.currentTimeMillis(); return unit.convert(diff, TimeUnit.MILLISECONDS); } public int compareTo(Delayed other) { if (this.timestamp < ((DelayedEvent) other).timestamp) { return -1; } if (this.timestamp > ((DelayedEvent) other).timestamp) { return 1; } return 0; } public String getMessage() { return message; } } } ``` 在这个示例中，我们定义了一个DelayQueue，用来存储延迟事件。run()方法在一个while循环中循环获取DelayQueue中的事件，并使用ctx.collect()方法将事件发送给下游算子。addEvent()方法用于向DelayQueue中添加新的延迟事件。 最后，我们可以通过以下代码来使用自定义的Source Function： ```java DelayedEventSource source = new DelayedEventSource(); // 添加测试数据 source.addEvent(System.currentTimeMillis() + 1000, "Hello"); source.addEvent(System.currentTimeMillis() + 2000, "World"); DataStream<DelayedEventSource.DelayedEvent> stream = env.addSource(source); ``` 在这个示例中，我们创建了一个DelayedEventSource，并向其中添加了两个延迟事件。然后，我们将其作为Source Function添加到Flink的DataStream中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值