- 博客(4)
- 资源 (21)
- 收藏
- 关注
原创 Flink批处理优化器之数据属性
在一段时间之前我们已介绍过IP(Interesting Property)对于优化器的意义以及它将对优化器的优化决策产生的影响。本篇我们将介绍Flink的批处理优化器中涉及到的所有的IP,我们将其统称为数据属性。后续我们会介绍Flink如何为优化器节点计算IP,并在之后的“剪枝”(pruning)阶段发挥作用。
2017-04-09 22:17:06 2469
原创 Flink批处理优化器之范围分区重写采用算法
采样算法上一篇我们分析了RangePartitionRewriter的数据处理分支,接下来我们开始分析采样分支,采样分支的核心在于采样算法。因为范围分区输入端每个分区的数据量无从得知,也就是说我们无法得出采样比例。
2017-04-07 18:42:47 4090 2
原创 Flink批处理优化器之范围分区重写
为最终计划应用范围分区重写Flink的批处理程序允许用户使用partitionByRange API来基于某个(或某些)字段进行按范围分区且可以选择性地指定排序顺序,示例代码如下:
2017-04-05 21:27:47 4665 1
原创 Flink运行时之客户端提交作业图-下
submitJob方法分析JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job,JobManager接收到消息对象之后,构建一个JobInfo对象以封装Job的基本信息
2017-04-02 20:08:27 7628
OFBiz track @ Apachecon EU 2014 in Budapest, Hungary Nov 17th - Nov 19th 2014
2015-02-04
seda eclipse工程可运行版
2012-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人