BUG场景:流最后的数据,会停留下hadf的”+tmp”目录
偷懒到不能更偷懒的流程图:
简单到不能再简单
执行完S3后,如果数据没有达到足够条数:
1. 缓存被清理
2. 数据刚写入不会timeout,数据存在HDFS tmp目录中
3. C2中 timeout不是定时器实现,只在判断点计算时间差。
4. 后入如果没有数据来,hdfs tmp目录中数据不会被转移至目标目录。
偷懒到不能更偷懒的流程图:
执行完S3后,如果数据没有达到足够条数:
1. 缓存被清理
2. 数据刚写入不会timeout,数据存在HDFS tmp目录中
3. C2中 timeout不是定时器实现,只在判断点计算时间差。
4. 后入如果没有数据来,hdfs tmp目录中数据不会被转移至目标目录。