<Zhuuu_ZZ>HDFS命令集合

HDFS命令集合

  • 在 hdfs 文件系统上创建一个 haha 文件夹
hdfs dfs -mkdir -p /zhu/haha
  • 将测试文件内容上传到文件系统上
hdfs dfs -put /etc/profile /zhu/haha
  • 查看上传的文件
hadoop fs -cat /zhu/haha/etc/profile
  • 使用本地Jar包wordcount统计单词数
hadoop jar /opt/hadoop2.6.0/share/hadoop/map      reduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /      zhu/haha /zhu/lala

  • 查看上面单词统计结果
hadoop fs -cat /zhu/lala/part-r-00000
  • 将测试文件内容下载到本地
hadoop fs -get /zhu/lala/part-r-00000 /opt/hadoop
  • 删除输出结果
hadoop fs -rmr /zhu/lala
  • 递归查看根目录下下所有文件和文件夹
hadoop fs -lsr /
  • 从本地剪切粘贴到hdfs
hdfs dfs -moveFromLocal /root/1.txt /zhu/haha/
  • 追加一个文件到已经存在的文件的末尾
hadoop fs -appendTOFile /root/2.txt /zhu/haha/1.txt
  • 显示文件的末尾
hdfs dfs -tail /zhu/haha/1.txt
  • 修改文件所属权限
  -chgrp
  -chown
  -chmod

  hadoop fs -chown root:root /zhu
  • 从本地文件系统中拷贝文件到 hdfs 路径去
  -copyFromLocal:

  hadoop fs -copyFromLocal /etc/profile /zhu/lala
  • 从 hdfs 拷贝到本地
-copyToLocal

hadoop fs -copyToLocal /zhu/lala/profile /opt/hadoop
  • 从 hdfs 的一个路径拷贝到 hdfs 的另一个路径
-cp

hadoop fs -cp /zhu/haha/1.txt /zhu/lala
  • 在 hdfs 目录中移动文件
-mv

hdfs dfs -mv /zhu/haha/1.txt /
  • -get:等同于 copyToLocal,就是从 hdfs 下载文件到本地
hadoop fs -get /zhu/haha/1.txt /opt/hadoop
  • -getmerge :合并下载多个文件
  hadoop fs -getmerge /zhu/haha /opt/hadoop/new.txt

  注意只能合并文件夹下的文件
  • -put:等同于 copyFromLocal
hadoop fs -put /root/employee.txt /
  • -rm:删除文件
hadoop fs -rm /zhu/haha/1.txt
  • -rmdir:删除空目录
hdfs dfs -rmdir /zhu/haha
  • rmr:删除目录
hdfs dfs -rmr /zhu
  • -df :统计文件系统的可用空间信息
  hadoop fs -df -h /

  Filesystem                   Size   Used  Available  Use%
  hdfs://192.168.198.202:9000  17.0 G  1.5M    11.6G    0%
  • -du 统计文件夹的大小信息
  hadoop fs -du /
  
  3301  /opt
  1218708  /tmp
  1495    /usr
  9016    /zhu

  hadoop fs -du -s /
  统计根目录下文件夹大小总数
  1232520  /
  • -setrep:设置 hdfs 中文件的副本数量
hadoop fs -setrep 2 /zhu/haha/profile
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值