flink入门_Flink 基础入门（一看就会）

前言
Spark Streaming 准确来说算是一个微批处理伪实时的做法，可是 Flink 是真的来一条就会处理一条，而且在 Spark Streaming 和 Kafka 进行整合时我们需要手动去管理偏移量的问题，而在 Flink 当中，它就会自动地去帮助我们去管理。
而且 Flink 的算子比 Spark Streaming 的丰富多了，Flink是未来的趋势，起码我是这么认为的
一、Flink基础
Flink起源于一个名为Stratosphere的研究项目，目的是构建下一代的大数据分析平台，于14年4月16日成为Apache的孵化项目。
对于实时的程序，我们关注的点其实有下面3个，分别是数据的输入，数据的处理与数据的输出。下面的图是来自 Flink 1.9版本 官方网站的图

这图就分割得十分清楚了，前面数据的输入这一块，有两种数据来源，一种是Real-Time Events带来的，这种是属于实时方向的，而下方的DataBase，FileSystem，和kv类型的存储系统就是离线方向的业务
数据的处理中写着我们的 Flink 可以被部署在K8s，Yarn，Mesos···等，后面的输出有可能是一个Application，应用的意思，也有可能是Event log，比如Kafka嘛，也有可能又给带回去前面提到的持久化组件中。
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
1.1 Flink 的四个特点
1.1.1 Flink的数据处理思想
Flink认为数据的处理就是流处理，数据可分为有界或者无界两种。

1. 无界流 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。
2. 有界流 有定义流的开始，也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序，所以并不需要有序摄取。有界流处理通常被称为批处理

在最一开始的时候，Spark只存在RDD这么一说，之后Flink的那套出来后Spark就借鉴过去了，Flink是靠实时起家的，因为这玩意一开始搞离线也搞不过Spark。所以它们其实也挺相爱相杀的
1.1.2 多场景的部署方式
Apache Flink 它需要计算资源来执行应用程序。Flink 集成了所有常见的集群资源管理器，例如 Hadoop YARN、 Apache Mesos 和 Kubernetes，但同时也可以作为独立集群运行。
Flink 被设计为能够很好地工作在上述每个资源管理器中，这是通过资源管理器特定(resource-manager-specific)的部署模式实现的。Flink 可以采用与当前资源管理器相适应的方式进行交互。
部署 Flink 应用程序时，Flink 会根据应用程序配置的并行性自动标识所需的资源，并从资源管理器请求这些资源。在发生故障的情况下，Flink 通过请求新资源来替换发生故障的容器。提交或控制应用程序的所有通信都是通过 REST 调用进行的，这可以简化 Flink 与各种环境中的集成
1.1.3 数据的多种规模应用
Flink 旨在任意规模上运行有状态流式应用。因此，应用程序被并行化为可能数千个任务，这些任务分布在集群中并发执行。所以应用程序能够充分利用无尽的 CPU、内存、磁盘和网络 IO。
而且 Flink 很容易维护非常大的应用程序状态。其异步和增量的检查点算法对处理延迟产生最小的影响，同时保证精确一次状态的一致性。Flink 可以做到
每天处理数万亿的事件 可以维护几TB大小的状态 可以部署上千个节点的集群 复制代码
1.1.4 充分利用内存的性能
有状态的 Flink 程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。任务通过访问本地（通常在内存中）状态来进行所有的计算，从而产生非常低的处理延迟。Flink 通过定期和异步地对本地状态进