hdfs存储小文件archive操作及好处和原因

为什么要给小文件archive
未完成。。。。

commond:
hadoop archive -123.har name -p [-r ] *
将一个目录作为整个进行archive
hadoop archive -archiveName 123.har -p /test/archive -r 3 /test/
Unarchive
按顺序unarchive
hdfs dfs -cp har:///user/zoo/foo.har/dir1 hdfs:/user/zoo/newdir
并行unarchive
hadoop distcp har:///user/zoo/foo.har/dir1 hdfs:/user/zoo/newdir
查看归档文件:
hdfs dfs -ls -R har:///user/zoo/foo.har/
hdfs dfs -ls har:///user/zoo/foo.har
删除:hadoop fs -rmr user/zoo/foo.har

实例:
archive:hadoop archive -archiveName 123.har -p /test/archive -r 3 1.txt 2.txt 3.txt /test
查看:
hdfs dfs -ls -R har:///test/123.har
hdfs dfs -ls har:///test/123.har
删除后再次archive:
hadoop archive -archiveName foo.har -p /user/hadoop 1.txt 2.txt /user/zoo
hadoop archive -archiveName 123.har -p /test/ 1.txt 2.txt /test/

-rw-r--r--   3 root supergroup          4 2019-05-13 01:29 har:///test/123.har/1.txt
-rw-r--r--   3 root supergroup          4 2019-05-13 01:29 har:///test/123.har/2.txt

删除后再次archive:
hadoop archive -archiveName 123.har -p /test/ archive/1.txt archive/2.txt /test
再次查看:hdfs dfs -ls har:///test/123.har

-rw-r--r--   3 root supergroup          4 2019-05-13 01:29 har:///test/123.har/archive/1.txt
-rw-r--r--   3 root supergroup          4 2019-05-13 01:29 har:///test/123.har/archive/2.txt

查阅官网:http://hadoop.apache.org/docs/stable/hadoop-archives/HadoopArchives.html

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值