继续坚持!!!
Flink原理初探
- 一、Flink执行流程?
- 1.Flink 角色分工
- 2 Flink Standalone
- 3 Flink On YARN
- 二、Flink Streaming Dataflow
- 三、Flink执行图(ExecutionGraph)
- 四、Flink运行时组件
- 总结
一. Flink 执行流程
Flink是新的stream计算引擎,用java实现。既可以处理stream data也可以处理batch data,可以同时兼顾Spark以及Spark streaming的功能,与Spark不同的是,Flink本质上只有stream的概念,batch被认为是special stream。
https://blog.csdn.net/sxiaobei/article/details/80861070、https://blog.csdn.net/super_wj0820/article/details/90726768
1.Flink 角色分工
在实际生产中,Flink 都是以集群在运行,在运行的过程中包含了两类进程。
JobManager:
它扮演的是集群管理者的角色,负责调度任务、协调 checkpoints、协调故障恢复、收集Job 的状态信息,并管理 Flink 集群中的从节点 TaskManager。
TaskManager:
实际负责执行计算的 Worker,在其上执行 Flink Job 的一组 Task;TaskManager 还是所在节点的管理员,它负责把该节点上的服务器信息比如内存、磁盘、任务运行情况等向JobManager 汇报。
Client:
用户在提交编写好Flink应用程序时,会先创建一个客户端再进行提交,这个客户端就是Client