第二章 HDFS的Shell操作

2.1 基本语法

hadoop fs 具体命令 或者 hfds dfs 具体命令，二者完全相同。

2.2 常用命令实操

• 准备工作

1. 启动hadoop集群：sbin/start-dfs.sh、sbin/start-yarn.sh
2. -help：输出这个命令参数：hadoop fs -help rm
3. 创建/sanguo文件夹：hadoop fs -mkdir /sanguo

• 上传

1. -moveFromLocal：从本地剪切粘贴到HDFS：vim shuguo.txt，输入shuguo，保存；hadoop fs -moveFromLocal ./shuguo.txt /sanguo
2. -copyFromLocal：从本地文件系统中拷贝文件到HDFS：vim weiguo.txt，输入weiguo，保存；hadoop fs -copyFromLocal weiguo.txt /sanguo
3. -put：等同于-copyFromLocal，生产环境更习惯用put，vim wuguo.txt，输入wuguo，保存；hadoop fs -put wuguo.txt /sanguo
4. -appendToFile：追加一个文件到已经存在的文件末尾，vim liubei.txt，输入liubei，保存，hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

• 下载

1. -copyToLocal：从HDFS拷贝到本地，hadoop fs --copyToLocal /sanguo/shuguo.txt ./
2. -get：等同于copyToLocal，生产环境更习惯使用get，hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

• HDFS直接操作

1. -ls：显示目录信息，hadoop fs -ls /sanguo
2. -cat：显示文件内容，hadoop fs -cat /sanguo/shuguotxt
3. -chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限，hadoop fs -chmod  666 /sanguo/shuguo.txt，修改分组权限：hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt
4. -mkdir：创建路径，hadoop fs -mkdir /jinguo
5. -cp：从HDFS的一个路径拷贝到HDFS的另一个路径，hadoop fs -cp /sanguo/shuguo.txt /jinguo
6. -mv：在HDFS目录中移动文件，hadoop fs -mv /sanguo/wuguo.txt /jinguo，hadoop fs -mv /sanguo/weiguo.txt /jinguo
7. -tail：显示一个文件的末尾1kb的数据，最末尾的数据是最新的数据，hadoop fs -tail /jinguo/shuguo.txt
8. -rm：删除文件或文件夹，hadoop fs -rm /sanguo/shuguo.txt
9. -rm -r：递归删除目录及目录里面的内容，hadoop fs -rm -r /sanguo
10. -du统计文件夹的大小信息，总的大小信息查看：hadoop fs -du -s -h /jinguo，详细信息查看：hadoop fs -du -h /jinguo，27表示文件大小，81表示27*3个副本，/jinguo表示查看的目录

    

11. -setrep：设置HDFS中文件的副本数量，在hdfs页面上也可以设置，hadoop fs -setrep 10 /jinguo/shuguo.txt，这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数真的增加到10台时，副本数才能达到10。