HDFS的命令

一、

1、在根目录下创建u目录：
hdfs dfs -mkdir /u
2、查看根目录下的文件：
hdfs dfs -ls /
查看hdfs根目录下所有的目录和文件：
hdfs dfs -ls -R /
3、查看文件：
hdfs dfs -cat /kuwo.txt
hdfs dfs -cat /root/kuwo.txt
4、移动文件：
hdfs dfs -mv a.txt /root
5、删除文件：
hdfs dfs -rm /a.txt
删除文件夹：
hdfs dfs -rm -r /data
6、将window下的文件通过SSH Secure File Transfer Client上传到虚拟机上
再通过hdfs dfs -put /root/kuwo.txt / 将虚拟机上的文件上传到hdfs里的根目录
7、jar包进行词频统计命令：
首先cd进入jar包所在的文件夹里
hadoop jar wc.jar www.wcjob /a.txt /output
概括来讲就是五大块：
hadoop jar + jar包 + 打包成jar前的代码包名.主类 + 要统计的文件路径 + 结果输出路径
8、Hadoop的hdfs文件下载到本地：
hdfs dfs -get hdfs文件路径 本地下载位置
如图

二、

HDFS的shell命令
Hadoop 命令

hdfs命令

操作HDFS
hadoop fs = hdfs dfs

1、-ls
功能：显示目录列表或者单个文件的具体信息
用法：hdfs dfs –ls 查看的路径
功能：查看当前指定的目录及目录下目录中的所有文件
用法：hdfs dfs –ls –R 查看的路径
2、-mkdir
功能：创建目录
用法：hdfs dfs –mkdir [-p] …
参数-p：创建多级目录 比如：hdfs dfs –mkdir –p /b/c
备注： 是从根目录开始写路径，hdfs中不存在相对路径，所有的路径都必须使用绝对路径。
3、-put
功能：上传文件
用法：hdfs dfs [-put [-f] [-p] [-l] … ]

4、-get
用法：hdfs dfs [-get [-p] [-ignoreCrc] [-crc] … ]
说明：put或get会把文件上传或下载，但并不会把文件删除掉。
5、-getmerge
功能：合并下载
用法： hdfs dfs [-getmerge [-nl] ]

6、-copyfromLocal
功能：把本地文件拷贝到HDFS中，与put功能类似
用法：hdfs dfs [-copyFromLocal [-f] [-p] [-l] … ]

7、-moveFromLocal
功能：将文件从本地移动到HDFS中，该命令会把本地文件删除。
用法：hdfs dfs [-moveFromLocal … ]
8、 -cat
功能：查看文件内容
用法：hdfs dfs -cat [-ignoreCrc] …
9、-mv
功能：把hdfs中的文件进行移动或者是修改名称
用法：hdfs dfs –mv …

10、-appendToFile
功能：把本地文件追加到HDFS的某个文件中
用法：-appendToFile …

11、-chgrp
功能：修改文件或目录的所属组
用法：hdfs dfs -chgrp [-R] GROUP PATH…

如果修改的是一个文件夹，需要添加-R参数，表示递归修改。
12、-chmod
功能：修改文件权限
用法：hdfs dfs -chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH….

13、-chown
功能：修改所属组和属主
用法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] PATH…

14、-rm
功能：删除文件
用法：hdfs dfs -rm [-f] [-r|-R] [-skipTrash]

注意：删除目录时，hdfs中多个参数是不能合并到一起的，要分开写。
16、-rmdir
功能：删除空目录
用法：hdfs dfs -rmdir [–ignore-fail-on-non-empty]

…
15、-cp
功能：复制文件或目录
用法：hdfs dfs -cp [-f] [-p | -p[topax]] …
16、-df
功能：显示指定目录可用空间的信息
用法：hdfs dfs -df [-h] [ …]
17、-du
功能：查看文件或目录的大小信息
用法：hdfs dfs -du [-s] [-h] …
18、-tail
功能：查看文件末尾1kB的内容
用法：hdfs dfs -tail [-f] **