本文主要介绍flink datasource
flink作为一个明星级别的流处理框架,编程模式很简单:
1. 获取一个执行环境,并根据实际情况配置
2. 加载/创建初始化数据
3. 指定操作数据的transformation算子
4. 指定计算好的数据存放位置
5. 调用execute()出发执行程序
Data Sources 是什么呢?就字面意思其实就可以知道:数据源。
严格的说flink dataSource 分为流数据源(DataStreamSource)和批数据源(DataSource)
DataStreamSource:
DataStreamSource解释:
DataStreamSource表示DataStream的起始点。而DataStream表示同一类型的元素流。一个DataStream可以通过transformation换为另一个DataStream。因此我们可以理解为DataStreamSource是整个流转换的起点。DataStreamSource构造函数是一个StreamExecutionEnvironment,Opertaor,isParallel和name。