Flink
文章平均质量分 92
廿半
这个作者很懒,什么都没留下…
展开
-
Flink源码解析——数据源读入原理
Flink是分布式并行计算框架,所以Flink程序内在是分布和并行的,其并行的特性可在下述代码片段体现: val env = ExecutionEnvironment.getExecutionEnvironment val text = env.readTextFile(inputPath) val data = text.flatMap(_.split(" "))...原创 2018-06-14 17:19:02 · 5727 阅读 · 0 评论 -
Flink源码解析——ForwardedFields转发字段
Flink中ForwardedFields这一概念为转发字段,所谓转发字段,字面理解就是某个字段不经过处理直接存储到另一位置,事实大致也是如此。ForwardedFields可以分为两类,一类是以map算子为代表的转发字段,另一类是join算子的转发字段,这两类算子的主要区别就是输入的DataSet个数。1.单输入算子转发字段 map等算子的转发字段是通过withForwardedField...原创 2018-06-22 16:28:56 · 3585 阅读 · 1 评论 -
Flink中的Broadcast广播变量
在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播变量便是解决这种情况的。如下代码所示: val env = ExecutionEnvironment.getExecutionEnvironment val ds1 = env.fromElem......原创 2018-06-20 17:16:08 · 10356 阅读 · 0 评论