HDFS的小文件合并(12)

最新推荐文章于 2024-06-27 17:02:16 发布

大数据梦想家

最新推荐文章于 2024-06-27 17:02:16 发布

阅读量4k

点赞数 4

分类专栏： # HDFS Hadoop 文章标签： HDFS

本文链接：https://blog.csdn.net/weixin_44318830/article/details/102983534

版权

本文介绍了HDFS在处理大量小文件时面临的元数据压力，并提供了通过HDFS的`-getmerge`命令和Java API将小文件合并成大文件的方法。分享了从HDFS下载合并文件以及在上传时合并的步骤，鼓励读者参与讨论和关注后续的HDFS系列内容。

摘要由CSDN通过智能技术生成

由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。

在我们的hdfs 的shell命令模式下，可以通过命令行将很多的hdfs文件合并成一个大文件下载到本地，命令如下。【HDFS–>Local】

cd /export/servers
hdfs dfs  -getmerge  /config/*.xml  ./hello.xml

既然可以在下载的时候将这些小文件合并成一个大文件一起下载，那么肯定就可以在上传的时候将小文件合并到一个大文件里面去。

过程图如下:
在这里插入图片描述
根据前面博客分享的内容,我们将用javaAPI将本地多个小文件上传到hdfs,并合并成一个大文件!

/**
 * 将多个本地系统文件，上传到hdfs，并合并成一个大的文件
 * @throws Exception
 */
@Test
public void mergeFile() throws  Exception

关注

专栏目录