Flink问题总结

1.什么是flink？
Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。
Flink 能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供 了丰富的时间类型和窗口计算、Exactly-once （就一次）语义支持，另外还可以进行状态管理，并提供 了 CEP（复杂事件处理）的支持。

2.Flink 的重要特点？

事件驱动
List item
基于流的世界观
在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流;
实时数据是一个没有界限的流:这就是所谓的有界流和无界流
分层API
越顶层越抽象，表达含义越简明，使用越方便
越底层越具体，表达能力越丰富，使用越灵活
3.什么是有界流和无界流？
在 spark 的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实 时数据是由一个一个无限的小批次组成的。 而在 flink 的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数 据是一个没有界限的流，这就是所谓的有界流和无界流。

无界数据流：无界数据流有一个开始但是没有结束，它们不会在生成时终止并 提供数据，必须连续处理无界流，也就是说必须在获取后立即处理 event（事件）。对于无界 数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取 event，以 便能够推断结果完整性。
有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前 通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有 界数据集进行排序，有界流的处理也称为批处理
在这里插入图片描述
这种以流为世界观的架构，获得的最大好处就是具有极低的延迟。

4.flink的其他特点？

支持事件时间(event- time)和处理时间(processing time)
精确一次的状态一致性保证低延迟，
每秒处理数百万个事件，
毫秒级延迟与众多常用存储系统的连接
高可用，动态扩展，实现7*24小时全天候运行
5.flink和sparkStreaming 对比？

数据模型
spark采用RDD模型，spark streaming的DStream实际上也就是一-组 组小批数据RDD的集合
flink基本数据模型是数据流，以及事/件序列
运行架构
spark是批计算，将DAG划分为不同的stage,一个完成后才可以计算下一个
flink是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点进行处理
6.spark DAG 如何划分stage？
stage的切割规则：从后向前，遇到宽依赖就切割stage

7.flink 运行的组件？

jobManager:作业管理器
taskManager:任务管理器
resourceManager：资源管理器
dispacher：分发器
8.jobmanager 的什么作用？

控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的
jobManager所控制jobManager会先接收到要执行的应用程序，这个应用程序会包括：作业图，逻辑数据流图和打包了所有类、库和其它资源的jar包
jobManager会把jobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”，包含了所有可以执行的任务
jobManager会向资源管理器（resourceManager）请求执行任务必要的资源，也就是任务管理器（taskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的taskManager上。而在运行过程中，jobManager会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调
9.jobmanager接收到的应用程序包含？
作业图，逻辑数据流图和打包了所有类、库和其它资源的jar包

10.taskManager 的什么作用？

flink中的工作进程。通常在flink中会有多个taskManager运行，每一taskManager都包含了一定数量的插槽（solts）。插槽的数量限制了taskManager能够执行的任务数量
启动之后，taskManager会向资源管理器注册它的插槽；收到资源管理器的指令后，taskManager就会将一个或多个插槽提供给jobManager调用。jobManager就可以向插槽分配任务（tasks）来执行了
在执行过程中，一个taskManager可以跟其他运行同一应用程序的taskManager交换数据
11.resourceManager的作用？

主要负责管理任务管理器（taskManager）的插槽（solt）,taskManager插槽是flink中定义的处理资源单元。
flink为不同的环境和资源管理工具提供不同的资源管理工具，比如YARN、Mesos、K8s，以及standalone部署
当jonManager申请插槽资源时，ResourceManager会将有空间插槽来满足jobManager的请求，它还可以向资源提供平台发起会话，以提供启动taskManager进程的容器
12.flink的资源管理器有哪些？
YARN、Mesos、K8s，以及standalone

13.Dispatcher的作用？

可以跨作业运行，它为应用提交提供了REST接口。
当一个应用被提交执行时，分发器就会启动并将应用移交给一个jobManager
dispatcher也