大数据：hadoop常用操作命令

Hadoop常用操作

命令	说明
1.执行：hadoop fs -mkdir /park	在hdfs 的根目录下，创建 park目录
2.执行：hadoop fs -ls /	查看hdfs根目录下有哪些目录
3.执行：hadoop fs -put /root/1.txt /park	将linux操作系统root目录下的1.txt放在hdfs的park目录下
4.执行：hadoop fs -get /park/jdk /home	把hdfs文件系统下park目录的文件下载到linux的home目录下
5.执行：hadoop fs -rm /park/文件名	删除hdfs 的park目录的指定文件
6.执行：hadoop fs -rmdir /park	删除park目录，但是前提目录里没有文件
7.执行：hadoop fs -rmr /park	删除park目录，即使目录里有文件
8.执行：hadoop fs -cat /park/a.txt	查看park目录下的a.txt文件
9.执行：hadoop fs -tail /park/a.txt	查看park目录下a.txt文件末尾的数据
10.执行：haddop jar xxx.jar	执行jar包
11.执行：hadoop fs -cat /park/result/part-r-00000	查看 /park/result/part-r-00000文件的内容
12.执行：hadoop fs –mv /park02 /park01	将HDFS上的park02目录重名为park01命令。
13.执行：hadoop fs -mv /park02/1.txt /park01	将park02目录下的1.txt移动到/park01目录下
14.执行：hadoop fs -touchz /park/2.txt	创建一个空文件
15.执行：hadoop fs -getmerge /park /root/tmp	将park目录下的所有文件合并成一个文件，并下载到linux的root目录下的tmp目录
16.执行：hadoop dfsadmin -safemode leave 离开安全模式 执行：hadoop dfsadmin -safemode enter 进入安全模式	离开hadoop安全模式 在重新启动HDFS后，会立即进入安全模式，此时不能操作hdfs中的文件，只能查看目录文件名等，读写操作都不能进行。 namenode启动时，需要载入fsimage文件到内存，同时执行edits文件中各项操作一旦在内存中成功建立文件系统元数据的映射，则创建一个新的fsimage文件（这个步骤不需要SNN的参与）和一个空的编辑文件。 此时namenode文件系统对于客户端来说是只读的。 在此阶段NameNode收集各个DataNode的报告，当数据块达到最小复本数以上时，会被认为是“安全”的，在一定比例的数据块被确定为安全后，再经过若干时间，安全模式结束 当检测到副本数不足的数据块时，该块会被复制直到到达最小副本数，系统中数据块的位置并不是namenode维护的，而是以块列表的形式存储在datanode中。 当启动报如下错误时: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
17.执行：hadoop dfsadmin -rollEdits	手动执行fsimage文件和Edis文件合并元数据
18.执行：hadoop dfsadmin -report	查看存活的datanode节点信息
19.执行：hadoop fsck /park	汇报/park目录 健康状况
20.执行：hadoop fsck /park/1.txt -files -blocks -locations -racks	查看1.txt 这个文件block信息以及机架信息 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xCspRInf-1602575827076)(file:///C:/Users/41523/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg)]
21.hadoop fs -expunge	手动清空hdfs回收站

其他指令

命令	说明
hadoop fs -cp /park01/1.txt /park02	将HDFS上 /park01下的1.txt拷贝一份到 /park02目录下。 目标路径可以有多个，用空格隔开，比如： hadoop fs -cp /park01/1.txt /park02 /park03……
hadoop fs -du /park/1.txt	查看HDFS上某个文件的大小。也可以查看指定目录，如果是目录的话，则列出目录下所有的文件及其大小，比如： hadoop fs -du /park
hadoop fs -copyFromLocal /home/1.txt /park01	将本地文件1.txt上传到/park01目录下
hadoop fs -copyToLocal /park01/1.txt /home	将HDFS上的1.txt 拷贝到本地文件系统
hadoop fs -lsr /	递归查看指定目录下的所有内容