一、什么是Flink
1.1、Flink三大核心组件
-
Data Source
-
Transformations
-
Data Sink
1.2、Fink的流处理和批处理
流处理系统和批处理系统最大的不同在于节点之间的数据传输方式:
Flink同时支持这两种模式,Flink以固定的缓存块为单位进行网络数据传输,用户可以通过缓存块超时值指定缓存块的传输时机,如果缓存块的超时值为0,则Flink的数据传输方式类似于前面所说的流处理系统的标准模型
,此时系统可以获得最低的处理延迟。如果缓存块的超时值为无限大,则Flink的数据传输方式,类似于前面所说的批处理系统的标准模型
,此时系统可以获取最高的吞吐量。其实底层还是流式计算模型,批处理只是一个极限的特例而已
-
在大数据处理领域,批处理和流处理一般被认为是两种不同的任务,一个大数据框架一般会被设计为只能处理其中一个任务
- <