Flink Dataset join+sortPartition

需求描述

表1大量数据，表2小量数据，表1通过join表2补充数据，将表1按照某个条件分区然后各分区排序，用dataset批处理

表1有1275个gz文件，每个500多M，解压后1.8G，gz文件只能单线程读，所以并发数设成文件数

主要问题

flink的官方文档还比较好，api说明挺清楚，yarn的配置是难点，各种报错

org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task manager 'hostname/1.1.1.1:36886'. This might indicate that the remote task manager was lost

java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id container_a11_1553213258761_7228_01_021030 timed out.

org.apache.flink.util.FlinkException: The assigned slot container_a11_1553334567761_7286_01_004008_7 was removed.

java.io.IOException: Thread 'SortMerger Reading Thread' terminated due to an exception: Consumed partition PipelinedSubpartitionView(index: 0) of ResultPartition 665042c64946d24ca6258cc1cc205540@da7136b7f7d3e9f75825dc88d9950f3c has been released.

分析主要应该是TaskManager内存和slot数的匹配设置问题，好在最后终于跑顺了。
akka.pattern.AskTimeoutException这个报错目前分析处三种可能的原因：

• 并发度超过yarn容量，减小并发度
• 网络交互耗时长，加大akka.ask.timeout设置
• 分发任务的时候耗时长，web监控超时了，加大web.timeout设置

其中有个关键点，排序如果使用完整的时间戳字符串“2019-01-01 10:00:00.123456”，就要逐个字符比较ascii码，前面10几位都是一样的，资源消耗比较大，跑崩，如果提取一个秒数转换为整数作比较就可以了。

不同并发数的效率对比

并发	taskmanager.memory.preallocate	耗时
1200	true	271963 ms
1500	true	313939 ms
1275	true	260447 ms
1000	true	273832 ms
1275	false	138437 ms

• 并发数高于或低于文件数都比等于文件数慢，越小于文件数越慢
• taskmanager.memory.preallocate是用于批处理时预分配内存的配置，设置成true更慢

MapReduce Tez Flink 对比

MapReduce	Tez	Flink
258 s	170 s	133 s