(第二弹)Flink——Flink的runtime

Flink运行时角色

      Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，on yarn都是要启动这两个角色。有点类似于MRv1的架构了，JobManager主要是负责接受客户端的job，调度job，协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数，引入了slot的概念，这个slot对资源的隔离仅仅是对内存进行隔离，策略是均分，比如taskmanager的管理内存是3GB，假如有三个slot，那么每个slot就仅仅有1GB内存可用。

 

Flink概念

   1.Flink并行度由什么决定呢？

            Flink每个算子都可以设置并行度，然后就是也可以设置全局并行度。

            1)api设置方法：

.map(new RollingAdditionMapper()).setParallelism(10)

             2)全局配置：conf/flink-conf.yaml

parallelism.default: 1

 

  2.Flink中的task运行模式

          前期版本进行了几次优化，最终是以下模式。默认情况下，flink允许如果任务是不同的task的时候，允许任务共享slot，当然，前提是必须在同一个job内部。每个slot可以执行job的一整个pipeline

优点如下：

     1）Flink 集群所需的taskslots数与job中最高的并行度一致。也就是说我们不需要再去计算一个程序总共会起多少个task了。

     2）更容易获得更充分的资源利用。如果没有slot共享，那么非密集型操作source/flatmap就会占用同密集型操作 keyAggregation/sink 一样多的资源。如果有slot共享，将基线的2个并行度增加到6个，能充分利用slot资源，同时保证每个TaskManager能平均分配到重的subtasks，比如keyby/window/apply操作就会均分到申请的所有slot里，这样slot的负载就均衡了。