苍煜

注：博主使用的版本就是：1.16.1

记录一次使用Flink 异步调用IO 总是超时的bug注：博主使用的版本就是：<flink.version>1.16.1</flink.version>

Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。

文章目录DataSet 批处理算子一、Source算子1. fromCollection2. readTextFile3. readTextFile：读取压缩文件二、Transform转换算子1： map2：flatMap3：Filter 算子4：Reduce 算子5：Aggregations6：Distinct 算子7：First 算子8：Join 算子9：Outer Join 算子10：Cross 算子11：Union 算子三、Sink算子1. collect2. writeAsTextDataStre

这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。