目录
一.flink概述
- 基本概念
- 特性
- 与hadoop兼容性
- 流式计算框架的性能对比
二.flink原理与技术架构
- flink架构
- flink技术栈
- flink核心概念 - DataStream
- DataStream Transformation
- flink原理
5.1 原理1
5.2 原理2 - flink并行数据流
- flink操作符链
- flink窗口
- checkpoint
9.1 机制
9.2 运行机制
9.3 对齐机制
三.flink运行流程
- flink 关键角色
- flink on yurn
一.flink概述
1.基本概念
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。
2.特性
-
流处理引擎
-
容错,可靠性(HA):以checkpoint(快照)机制来保证容错性。
异步快照:
- 普通快照在快照的时候要将所有业务都停止,但在异步快照时只对需要快照的一部分停止,其他部分继续工作,使得业务不耽误
- 保证所有操作都只有一次
-
可扩展性:分布式,可增加节点。可以分配到不同的节点上运行。
-
性能:高吞吐,低延迟。
3.与hadoop兼容性
-
Flink能够支持Yarn,能够从HDFS和HBase中获取数据;
-
能够使用所有的Hadoop的格式化输入和输出;
-
能够使用Hadoop原有的Mappers和Reducers,并且能与Flink的操作混合使用;
-
能够更快的运行Hadoop的作业。
4.流式计算框架的性能对比
storm已经很快了,但flink更快,可以看到我们的计算框架是不断在进步的。
二.flink原理与技术架构
1.flink架构
-
Data storage:底层的数据存储
-
Single node execution/standalone or YARN cluster:部署方式