汉子一枚

Flink 运行架构 4.1 任务提交流程 Flink 任务提交后，Client 向 HDFS 上传 Flink 的 Jar 包和配置，之后向 Yarn ResourceManager 提 交 任 务 ，ResourceManager 分 配 Container 资 源 并 通 知 对 应 的 NodeManager 启 动 ApplicationMaster，ApplicationMaster 启动后加载 Flink 的 Jar 包 和 配 置 构 建 环 境 ， 然 后 启 动 JobManager

Flink集群搭建 Flink 支持多种安装模式。 local（ 本地） ——单机模式， 一般不使用 standalone ——独立模式， Flink 自带集群，开发测试环境使用 yarn——计算资源统一由 Hadoop YARN 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 https://archive.apache.org/dist/flink/fli

Flink 架构体系 2.1 Flink 中的重要角⾊ JobManager 处理器： 也称之为 Master， 用于协调分布式执行， 它们用来调度 task， 协调检查点， 协调失败 时恢复等。 Flink 运行时至少存在一个 master 处理器， 如果配置高可用模式则会存在多 个 master 处理器， 它们其中有一个是 leader， 而其他的都是 standby。 TaskManager 处理器： 也称之为 Worker， 用于执行一个 dataflow 的 task(或者特殊的 subtask

Flink 简介 1.1 Flink 的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm， 以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以 内存为赌注，赢得了内存计算的飞速发展。 Spark 的火热或多或少的掩盖了其他分布式计 算的系统身影。就像 Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会 认同。我们先姑且这么认为和讨论。 首先第一代的计算