flink学习-3（Data Source）

什么是Data Source？

从字面意思可以知道，data source就是数据源，在flink计算框架中，需要接入外来的无限数据（流数据），有限静态数据（批量数据），只要数据源源不断过来，Flink就能够不算计算。

Flink接入Data Source

flink 可以使用 StreamExecutionEnvironment.addSource(sourceFunction) 接入数据源，而且flink已经提供了若干实现好了的source functions，我们也可以通过实现SourceFunction来自定义非并行的source或者实现ParallelSourceFunction接口或者扩展RichParallelSourceFunction来自定义并行的source

基于集合

1. fromCollection(Collection) - 从 Java 的 Java.util.Collection 创建数据流。集合中的所有元素类型必须相同。
2. fromCollection(Iterator, Class) - 从一个迭代器中创建数据流。Class 指定了该迭代器返回元素的类型。
3. fromElements(T …) - 从给定的对象序列中创建数据流。所有对象类型必须相同。
4. fromParallelCollection(SplittableIterator, Class) - 从一个迭代器中创建并行数据流。Class 指定了该迭代器返回元素的类型。
5. generateSequence(from, to) - 创建一个生成指定区间范围内的数字序列的并行数据流。

基于文件

1. readTextFile(path) - 读取文本文件，即符合 TextInputFormat 规范的文件，并将其作为字符串返回
2. readFile(fileInputFormat, path) - 根据指定的文件输入格式读取文件（一次）。
3. readFile(fileInputFormat, path, watchType, interval, pathFilter, typeInfo) - 这是上面两个方法内部调用的方法。它根据给定的 fileInputFormat 和读取路径读取文件。根据提供的 watchType，这个 source 可以定期（每隔 interval 毫秒）监测给定路径的新数据（FileProcessingMode.PROCESS_CONTINUOUSLY），或者处理一次路径对应文件的数据并退出（FileProcessingMode.PROCESS_ONCE）。你可以通过 pathFilter 进一步排除掉需要处理的文件。

基于Socket

socketTextStream(String hostname, int port) - 从 socket 读取。元素可以用分隔符切分。

自定义

addSource - 添加一个新的 source function。例如，你可以 addSource(new FlinkKafkaConsumer011<>(…)) 以从 Apache Kafka 读取数据

总结

1. 基于集合：有界数据集，更偏向于本地测试用
2. 基于文件：适合监听文件修改并读取其内容
3. 基于 Socket：监听主机的 host port，从 Socket 中获取数据
4. 自定义 addSource：大多数的场景数据都是无界的，会源源不断的过来。比如去消费 Kafka 某个 topic 上的数据，这时候就需要用到这个 addSource，可能因为用的比较多的原因吧，Flink 直接提供了 FlinkKafkaConsumer011 等类可供你直接使用。你可以去看看 FlinkKafkaConsumerBase 这个基础类，它是 Flink Kafka 消费的最根本的类。

定义自己的source

定义的类需要实现 SourceFunction 接口

参考：
http://www.54tianzhisheng.cn/2018/10/28/flink-sources/
flink基础教程