Spooldir2HDFS Spooldir监控一个目录的。如果目录中出现了新的文件,就文件内容采集过来。 flume中的常见问题 文件采集丢失文件采集重复断点续传 使用taildirHDFS来进行监控 TaildirHDFS支持断点续传 断点采集方式 在采集中 将文件实时的记录在json文件中将文件地址和他计算的偏移量记录文件被采集到哪里根据计算偏移量来进行之后文件的加载 flume采集文件时 将以组的形式来进行 组一采集一个 组二采集一个