hadoop 存档


1)理论概述

    每个文件均按块存储,每个块的元数据存储在 namenode 的内存中,因此 hadoop 存储小文件会非常低效。因为大量的小文件会耗尽 namenode 中的大部分内存。但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如,一个 1MB 的文件以大小为 128MB 的块存储,使用的是 1MB 的磁盘空间,而不是 128MB。

    Hadoop 存档文件或 HAR 文件,是一个更高效的文件存档工具,它将文件存入 HDFS块,在减少 namenode 内存使用的同时,允许对文件进行透明的访问。具体说来,Hadoop存档文件可以用作 MapReduce 的输入。

2)案例实操

    (1)需要启动 yarn 进程
start-yarn.sh

    (2)归档文件:归档成一个叫做 xxx.har 的文件夹,该文件夹下有相应的数据文件。Xx.har 目录是一个整体,该目录看成是一个归档文件即可。
bin/hadoop archive -archiveName myhar.har -p /user/hadoop /user/my

    (3)查看归档
hadoop fs -ls -R /user/my/myhar.har
hadoop fs -ls -R har:/user/my/myhar.har

    (4)解归档文件
hadoop fs -cp har:/user/my/myhar.har/* /user/hadoop

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值