扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦
Data Source简介
数据的来源是flink程序从中读取输入的地方。我们可以使用env.addSource(sourceFunction)或者env.createInput()将源添加到程序中。flink附带大量预先实现好的各种读取数据源的函数,其余的需求需要我们通过为非并行源去实SourceFunction接口或者为并行源实现ParallelSourceFunction接口或扩展RichParallelSourceFunction来编写满足自己业务需要的定制源。
Flink已经实现的数据源
基于文件
readTextFile(path): 读取文本文件,该文件要符合TextInputFormat规范,逐行读取并作为字符串返回,即可以是本地文件也可以是HDFS文件,读取hdfs文件如下:
env.readTextFile("hdfs://ip/test_data/event_log/event_log");