Flink实战（四）

Flink Runtime

Flink运行时概念

1. JobManager
2. TaskManager
3. TaskManager Slots
4. Job
5. Task & Subtask
6. Operator
7. Parallelism
8. Chain
9. SlotSharingGroup
10. CoLocationGroup

Flink运行时架构

1. Flink运行时架构
   

2. TaskManager Slots
   

3. OperatorChain && Task

4. OperatorChain的优点和组成条件
   

5. 如何开关OperatorChain
   

Slot分配与共享

1. 共享Slot
   
2. 共享Slot实例
   
3. SlotSharingGroup（soft）
   
4. ColocatiobGroup（强制）

• 保证所有的并行度相同的subTask运行在同一个slot
• 主要用于迭代流（训练机器学习模型）

Slot与parallelism

1. Slots && Parallelism
   
2. 如何计算一个应用需要多少slot呢
   

Flink部署方式

• Local
• Standalone Cluster
• YARN
• Mesos
• Docker
• Kubernetes
• AWS
• Google Compute Engine

1. Local

• Single JVM
• 主要用于调试代码

2. Standalone Cluster环境构建

• java8以上、ssh免密…

3. Flink on Yarn

• ResourceManger
• NodeManger
• AppMaster(JobManager与其运行在同一个container)
• Container（TaskManager运行在其中）
• YarnSession
• 选择On Yarn的好处
  - 比Standalone的机器利用率高
  - Hadoop 开源活跃、技术成熟