从0到1Flink的成长之路(四)

 继续坚持!!!

 

Flink原理初探

• 一、Flink执行流程？
  • 1.Flink 角色分工
  • 2 Flink Standalone
  • 3 Flink On YARN
• 二、Flink Streaming Dataflow
  • 1.引入库
  • 2.读入数据
• 三、Flink执行图(ExecutionGraph)
• 四、Flink运行时组件
• 总结

一. Flink 执行流程

Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。
https://blog.csdn.net/sxiaobei/article/details/80861070、https://blog.csdn.net/super_wj0820/article/details/90726768

      1.Flink 角色分工

在实际生产中，Flink 都是以集群在运行，在运行的过程中包含了两类进程。

JobManager：

它扮演的是集群管理者的角色，负责调度任务、协调 checkpoints、协调故障恢复、收集Job 的状态信息，并管理 Flink 集群中的从节点 TaskManager。

TaskManager：

实际负责执行计算的 Worker，在其上执行 Flink Job 的一组 Task；TaskManager 还是所在节点的管理员，它负责把该节点上的服务器信息比如内存、磁盘、任务运行情况等向JobManager 汇报。

Client：

用户在提交编写好Flink应用程序时，会先创建一个客户端再进行提交，这个客户端就是Client