hadoop及hdfs常用shell命令

hadoop及hdfs常用shell命令

 hdfs和hadoop命令在hdfs的使用上差不多，hadoop命令更全面一些，大体分为三类
 hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
 hadoop dfs：只能适用于HDFS文件系统
 hdfs dfs：跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统 

一、文件相关操作

1.创建文件夹

hadoop  fs  -mkdir   [-p  (是否创建子目录，如果子目录未创建且没选择这个参数会报错)]

2.查看文件的目录结构

hdfs  dfs  -ls  -R /
hadoop  fs  -ls     /dir

3.从本地上传文件至hdfs

hadoop  fs  -put  [-f (覆盖旧文件，不写则保留)]   /mydir  hdfs//:hdfs/dir

4.从hdfs下载文件至本地

hadoop fs -get hdfs//:hdfs/dir    /mydir
## 将hdfs的某个文件与本地的某个文件夹内容合并
hdfs dfs -getmerge hdfs//:hdfs/dir   /mydir  

5.删除hdfs文件

hadoop fs -rm -r    hdfs//:hdfs/dir

6.hdfs文件重命名

hdfs dfs -mv hdfs//:myfile   hdfs//:mydir

7.查看文件夹中文件内容

hadoop dfs -text hdfs//:mydir/f1.txt
hadoop dfs -cat  hdfs//:mydir/f1.txt

8.查看hadoop的可执行命令

hadoop fs  
hadoop fs   -help