Hadoop实例学习(十二)HDFS的常用shell操作

---

第一步先开集群!!!

这个myhadoop.sh是我自己写的脚本,正常start-dfs/yarn启动就行

前缀hadoop fs -xxx xxx 和hdfs dfs -xxx xxx是一样的

-help命令

主要用于查看命令帮助,有啥不懂的命令可以利用help进行查看
要是实在是看不懂讲啥就是用百度

上传

-moveFromLocal /本地路径 /hdfs路径 :从本地剪切黏贴到HDFS上

[root@master1 test]# hdfs dfs -moveFromLocal /root/test/word.txt /hdfs_test

它消失了


-copyFromLocal /本地路径 /hdfs路径:从本地拷贝文件到HDFS上

[root@master1 test]# hdfs dfs -copyFromLocal /root/test/word1.txt /hdfs_test

它还在

-put /本地路径 /hdfs路径:和copy差不多(最常用)

[root@master1 test]# hdfs dfs -copyFromLocal /root/test/word1.txt /hdfs_test

-appendToFile /要追加文件的路径 /hdfs被追加文件:追加一个文件到已经存在的文件末尾

[root@master1 test]# hdfs dfs -appendToFile /root/test/word1.txt /hdfs_test/word.txt

下载

-copyToLocal /hdfs路径 /本地路径: 从HDFS拷贝到本地

[root@master1 test2]# hdfs dfs -copyToLocal /hdfs_test/word.txt /root/test2

-get /hdfs路径 /本地路径: 等同于copy(最常用)

[root@master1 test2]# hdfs dfs -get /hdfs_test/word1.txt /root/test2

Hadoop其他shell

和linux命令基本一样

1. -ls /hdfs路径 :显示目录信息

2. -cat /hdfs文件: 显示文件内容

3. -chgrp,-chmod,-chown 修改文件所属权限(太麻烦了)
   直接网页点击修改多方便
   

4. -mkdir /hdfs路径: 创建文件

5. -cp /hdfs路径 /hdfs路径: 从HDFS路径拷贝到另一个HDFS下的路径

6. -mv /hdfs路径 /hdfs路径: 在HDFS中移动文件

7. -rm /hdfs文件路径: 删除文件

8. -rm -rf /hdfs文件夹路径: 删除文件夹

9. -tail /hdfs文件路径: 查看文件最尾部1KB数据

10. -du -s -h /hdfs文件夹: 统计文件夹的大小信息
    -s表示整个文件夹大小,没有-s表示该文件夹下所有文件大小

11. -setrep n /hdfs文件路径: 设置HDFS中文件的副本数量
    !!!前提是有那么多台的datanode