bin/hadoop namenode -format
2.启动HDFS
bin/start-dfs.sh
3.关闭HDFS
bin/stop-dfs.sh
4.创建目录
bin/hadoop fs -mkdir 目录
如:bin/hadoop fs -mkdir /user/cai
注意:hadoop的mkdir会自动创建父目录
5.上传文件命令
bin/hadoop fs -put filename
如:bin/hadoop fs -put example.txt //放入默认的工作目录,等价于bin/hadoop fs -put example.txt /user/cai
6.上传文件到HDFS
上传文件时,文件首先上传复制到DataNode上,只有所有的DataNode都成功接收数据,文件上传才成功。
bin/hadoop dfs -put filename newfilename(重命名)
7.罗列HDFS上的文件
bin/hadoop dfs -ls //默认返回HDFS的home目录下的文件
8.列出HDFS目录下某一个文档的文件
bin/hadoop dfs -ls 文件夹名
如:bin/hadoop dfs -ls input
9.查看HDFS里某一个文件
bin/hadoop dfs -cat filename
如:bin/hadoop dfs -cat input/* //查看input目录中的内容
10.将HDFS中的文件复制到本地
bin/hadoop dfs -get filename newfilename //支持重命名
11.递归删除HDFS下的文档
bin/hadoop dfs -rmr filename
12.改变文件所属组
bin/hadoop fs -chgrp [-R] GROUP URI
-R:将改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者是超级用户。
13.改变文件的权限
bin/hadoop -chown [-R] 0WNER URI
14.从本地上传文件
bin/hadoop fs -copyFromLocal <localSrc>URI
localSrc必须是本地路径
15.下载文件到本地
bin/hadoop -copyToLocal <localDst>URI
localDst必须是本地路径
16.复制文件
bin/hadoop fs -cp srcURI dstURI
cp:将文件从源路径复制到目标路径,允许有多个源路径,但是只允许有一个目标路径。
17.显示目录中所有文件的大小
bin/hadoop fs -du URI
18.显示文件大小
bin/hadoop fs -dus <args>
19.清空回收站
bin/hadoop fs - expunge
20.get命令
bin/hadoop fs -get [-ignorecrc] [-crc] <src> <local>
21.移动文件
bin/hadoop fs -mv <srcURI>..... <dstURI>
将文件从源路径移动到目标路径, 允许有多个源路径,但是只允许有一个目标路径
22.删除文件
bin/hadoop fs -rm URI
23.改变文件副本系数
bin/hadoop fs -setrep <num> [-R] <path>
-R表示递归改变目录下所有的文件的副本系数
24.查看统计信息
bin/hadoop fs -stat URI......
25.输出文件尾部内容
bin/hadoop fs -tail URI
-tail:输出文件尾部1KB的内容
26.检查文件
bin/hadoop fs -test -[ezd] URI
-e:检查文件是否存在,如果存在则返回0
-z:检查文件是否是0字节,是则返回0
-d:检查是不是一个目录
27.将文件输出为文本格式
bin/hadoop fs -text <src>
28.创建空文件
bin/hadoop fs -touchz URI
-touchz:用于创建一个0字节的空文件
参考资料:Hadoop 权威指南 Tom White 著 周敏奇 等 译 清华大学出版社
Hadoop实战 陆嘉恒 著 第二版 机械工业出版社