hive数据采集零点漂移

1.如果采集的数据是23:59:10产生的，结果超过00:00:00才被抽取到服务器上，那么就会导致这样的数据进入到第二天，进而导致数据分析的不准确，这就是零点漂移。

2.flume采集数据写入HDFS，如果写入的目录有时间戳，比如是年月日格式，如果没有在event事件的header中增加timestamp这个key。那么就要求配置文件中有 a1.sinks.k1.hdfs.useLocalTimeStamp = true。这个时候数据写入的目录就和系统时间有关系。那如果是11日生成的数据就可能写入到12日的目录中。 这个是以天举例子，如果是采用小时级别的目录，那么漂移问题肯定会更严重，最终影响到分析数据的结果。解决方案是采用自定义flume的拦截器，将数据中的 事件时间(也就是数据生成的实际时间)解析出来，存储到headers里面，key是timestamp，value是解析出来的事件时间，将useLocalTimeStamp配置为false， 最终数据就会写入事件时间对应的目录，这样就能解决零点漂移。

3.总结：关键在于自定义拦截器解析出event里面包含的时间，将其写入到header里面然后运行flume脚本，底层会根据header里面的时间将数据写入到对应的分区。