鸡排小农的博客

文章目录 1.Flink 整合 YARN1.1yarn-session1.2yarn-cluster1.3Flink On YARN故障恢复 2.Flink整合Kafka 1.Flink 整合 YARN Flink支持多种运行模式：本地Local模式，StandAlone模式，YARN模式，Mesos模式，Kubenetes 模式，Cloud 模式。其中本地模式是用来开发和调试的，YARN 模式是很多公司采用的。在一个企业...

在说flink的反压之前，先来说下strom和spark streaming的反压。 Strom 反压 如图是strom的反压，是通过zookeeper来决定的，当strom感受到处理不过来的时候，就会像zookeeper增加一个znode，然后strom发现了这个znode，对应的上游数据就会阻塞，不会发送数据。 Spark Streaming 反压 Spark Streaming的反压是从1.5版本...

1.什么是FlinkFlink是由Apache开发的开源分布式流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink可以执行批处理和流处理程序，Flink 将批处理（即处理有限的静态数据）视作一种特殊的流处理。2.流处理在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕 有界流（bounded）或 无界流（unbounded）两种模型来组织处理数据

1.什么是CheckpointCheckpoint：一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行。 用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序 Checkpoint 相关参数，当程序启动之后，剩下的就全交给 Flink 自行管理。(1)checkpoint

1.State： 即为状态，状态是计算过程中的数据信息，包括计算中间结果和元数据信息等等。状态在容错恢复，flink的增量计算等方面起着重要的地位。在Flink中，State中主要分为Operator State以及KeyedState。每种类型的state都可以以两种形式存在原生状态(raw state)和托管状态（managed state）。推荐使用ManagedState管理状态数据Operator State：是和Operator的一个特定的并行实例相绑定的，task级别的state，每个