本文开头附:Flink 学习路线系列 ^ _ ^
场景:
从指定路径读取文件中的内容,即实现 tail -f
的功能。
文件:
需求:
- 并行读取数据;
获取 OperatorState 状态 + Checkpoint 机制
,保证 Exactly-Once(已读数据在任务异常重启之后不会再次去读);- 文件夹有多个
.txt 文件
,根据 subTask Index来读取文件。即 subTask0 读取 0.txt 文件,subTask 1读取 1.txt 文件。
代码:
1.自定义Source