HDFS2.X的新特性

1.实现两个集群之间的数据拷贝(distcp命令)

bin/hadoop distcp   hdfs://hadoop132/user/shizhenqi/hello.txt   hdfs://hadoop137/user/shizhenqi/hello.txt

这是两个不同集群的虚拟机

2.小文件文档
缺点:每个文件按块存储,会占用NameNode大量的空间,但是小文件所需要的磁盘容量和数据块的大小无关。
把小文件进行整合。因此NameNode把这些小文件看成了一个整体
归档文件命令

#在/user/shizhenqi/input里面由若干个小文件
hadoop archive -archiveName input.har -p /user/shizhenqi/input /user/shizhenqi/output
#这样就会在output里面生成input.har 文件
hadoop fs -ls -R har:///user/shizhenqi/input.har   # 能看到我们归档的小文件

3.回收站
在core-site.xml中添加配置

<property>
        <name>fs.trash.interval</name>
        <value>10</value> #十分钟之后会自动在回收站里面删除
</property>
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>  #用户权限
</property>

然后在集群的路径/user/root/.Trash/Current就能看到你删除的文件

==#恢复回收站数据==
hadoop fs -mv /user/root/.Trash/Current /user/shizhenqi/input 
#清空回收站
hadoop fs -expunge 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值