- 博客(3)
- 资源 (3)
- 收藏
- 关注
原创 Hadoop小文件归档
HDFS存储小文件的弊端 HDFS文件的元数据存放在NameNode内存中,大量的小文件会导致NamenNode内存耗尽。 HDFS提供了一种针对小文件的归档方案,对NameNode来说lai将多个小文件归档为一个整体,因此可以大大降低元数据的开销。但是对于用户访问来说确是透明的,仍然可以按照以前的方式访问。 案例 文件归档需要执行mapreduce任务,因此需要确保yarn服务正常启动。 ...
2019-12-06 10:46:43 601
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人