一、什么是Flink

1.1、Flink三大核心组件
-
Data Source
-
Transformations
-
Data Sink
1.2、Fink的流处理和批处理
流处理系统和批处理系统最大的不同在于节点之间的数据传输方式:
Flink同时支持这两种模式,Flink以固定的缓存块为单位进行网络数据传输,用户可以通过缓存块超时值指定缓存块的传输时机,如果缓存块的超时值为0,则Flink的数据传输方式类似于前面所说的流处理系统的标准模型,此时系统可以获得最低的处理延迟。如果缓存块的超时值为无限大,则Flink的数据传输方式,类似于前面所说的批处理系统的标准模型,此时系统可以获取最高的吞吐量。其实底层还是流式计算模型,批处理只是一个极限的特例而已
-
在大数据处理领域,批处理和流处理一般被认为是两种不同的任务,一个大数据框架一般会被设计为只能处理其中一个任务
- <
本文介绍了Flink的核心组件,包括Data Source、Transformations和Data Sink,并探讨了其流处理和批处理的区别。接着详细阐述了Flink的三种数据传输模型,最后提供了详细的步骤来指导如何一键搭建Flink集群,包括在安装前需要启动Hadoop集群,以及在Linux上使用nc命令进行端口测试。
订阅专栏 解锁全文
131

被折叠的 条评论
为什么被折叠?



