张伟的专栏

原因比较明显，Hive处理前获取了对应分区下的所有文件信息，其中包含xxx.tmp文件，而传递给MapReduce处理时，由于Flume进行了切换，导致原来的xxx.tmp变成了xxx，新的.tmp名称又变成了yyy.tmp，这样自然找不到xxx.tmp了。如果Hive在执行过程中，Flume切换文件，即将xxx.tmp重命名为xxx，这时Hive会报错如file not found xxx.tmp。这样就产生了针对问题2的处理方案一）配置Flume，针对正在写入的文件，以.号开头。

flume打到hdfs上时，按照文件大小生成文件，在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上，hive外部表也会加载这些文件，但是当文件完成后.tmp会消失，这时候hive会报找不到文件的错误。这篇文章主要介绍Hive外部分区表加载flume打到hdfs上文件读不到.tmp文件怎么办，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

Spark Streaming+Flume对接实验软件环境：flume-ng-core-1.4.0-cdh5.0.0spark-1.2.0-bin-hadoop2.3流程说明：Spark Streaming: 使用spark-streaming-flume_2.10-1.2.0插件，启动一个avro source，用来接收数据，并做相应的处理；Flume agent：sou

Flume-ng HDFS sink原理解析 2013-09-18 11:41:25标签：flumehdfs sink 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1298627http://boylook.itpub.net/po

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1308188线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.t

Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯时间 2014-07-04 23:04:00 博客园精华区原文  http://www.cnblogs.com/lxf20061900/p/3813492.html 主题 Flume 双端队列SpillableMemoryChannel是1.5版本新增