算子
文章平均质量分 94
十二点的泡面
这个作者很懒,什么都没留下…
展开
-
大数据学习之Flink算子、了解(Transformation)转换算子(基础篇三)
数据源读入数据之后,我们就可以使用各种转换算子,将一个或多个 DataStream 转换为新的 DataStream,如图所示。一个Flink程序的核心,其实就是所有的转换操作,它们决定了处理的业务逻辑。代码如下:运行结果:直观上看,基本转换算子确实是在“转换”——因为它们都是基于当前数据,去做了处理和输出。而在实际应用中,我们往往需要对大量的数据进行统计或整合,从而提炼出更有用的信息。比如之前 word count 程序中,要对每个词出现的频次进行叠加统计。这种操作,计算的结果不仅依赖当前数据,还跟原创 2024-01-23 10:54:30 · 1620 阅读 · 0 评论 -
大数据学习之Flink算子、了解(Source)源算子(基础篇二)
接下来我们创建一个自定义的数据源,实现 SourceFunction 接口。主要重写两个关键方法: run()和 cancel()。run()方法:使用运行时上下文对象(SourceContext)向下游发送数据;cancel()方法:通过标识位控制退出循环,来达到中断数据源的效果。原创 2024-01-23 10:23:27 · 1174 阅读 · 0 评论 -
大数据学习之Flink算子、了解DataStream API(基础篇一)
注: 本文只涉及DataStream。原创 2024-01-23 09:03:37 · 1290 阅读 · 1 评论