Hdfs增量导入小文件合并的思路

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ggz631047367/article/details/50359150

1.使用mr进行合并
2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数
3.使用appendToFile
4.使用hadoop提供的打包压缩技术
Usage: hadoop fs [generic options]

[-appendToFile … ]

[-getmerge [-nl] ]

hdfs dfs -getmerge -nl /user/hive/warehouse/achi/20* /data/t1.txt

展开阅读全文

没有更多推荐了,返回首页