hdfs的常用命令

1.hadoop fs/dfs hdfs/dfs

hadoop：适用面最广，可以操作任何文件系统。

hdfs：只与HDFS文件系统相关。

fs：涉及到一个通用的文件系统，可以指向任何系统文件，如local，HDFS等。

dfs：仅是针对HDFS的分布式文件系统。

fs>dfs

fs：在本地与hadoop分布式文件系统的交互操作中使用。

分布式文件系统：fs与dfs没有区别。

2常用命令

1，help：显示命令的帮助信息

（1）获得所有命令帮助信息

（2）获得某个命令的帮助信息

 2，ls         格式：hadoop  fs -ls URL

                   作用：类似Linux的ls命令，显示文件列表

也可以通过浏览器图形化查看文件系统：http://192.168.56.2:50070

 3，ls 格式：hadoop fs -lsr URL（过时）

                     hadoop fs -ls -R URL

 

4，mkdir 格式：hadoop fs  [-p]  -mkdir <paths>

                作用：以<paths>中的URL为参数，创建目录

                   -p：参数可以递归创建目录

递归创建目录

 

 5，put 格式：hadoop fs -put <localsrc>   <dst>

            作用：将单个的源文件src或者多个文件srcs从本地文件系统拷贝到目标文件系统

 

6，moveFromLocal 格式：hadoop  fs  - moveFromLocal  <localsrc>  <dst>

                                作用：和put命令类似，从本地将文件移动到hdfs，但是源文件在拷贝之后自身删除

moveToLocal  作用：从hdfs上将文件移动到本地系统中

7，get 格式：hadoop fs  -get[-ignorecrc] [-crc] <src> <localdst>

           作用：把hdfs上的文件拷贝到本地

                     -ignorecrc：忽略crc校检     -crc：使用crc校检

 8，mv 格式：hadoop fs   -mv  URL  <dest>

            作用：将hadfs上的文件从原路径移动到目标路径，移动后文件删除，改命令不能跨文件系统使用

9，cp  格式：hadoop   fs   -cp  URL[URL....]   <dest>

            作用：将文件拷贝到目标路径中，如果以dest为目录的话，可以将多个文件系统拷贝到改目录下

              -f：如果它已存在，将覆盖目标文件

              -p：选项将保留文件属性（时间戳，所有权，许可等）（深度拷贝：内容加属性） 

 10，rm  格式：hadoop  fs   -rm [-r] [-skipTrash]  URL[URL....]

              作用：删除参数指定的文件，参数可以有很多个

               -r：删除目录

                -skipTrash：指定-skipTrash 选项，那么在回收站可用的情况下该选项将会跳过回收站直接删除文件，否则，在回收站可用的情况下，在hdfs sell中执行命令，会将文件暂存在回收站中

        

 删除目录

11， cat  格式：hadoop  fs  -cat  URI(URI...)

               作用：将参数所指示的文件内容输出到控制台上

12， chmod  格式：hadoop  fs  -chmod[-R]  URI[URI..]

            作用：改变文件权限

            -R：对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户，或者超级用户

13，chown  格式：hadoop  fs  -chown[-R]  URI[URI...]

                    作用：改变文件的所属用户和用户组

 

 14，appendToFile  将一个文件或多个文件合并追加到另一个文件中

                格式：hadoop  fs  -appendToFile  <localsrc>  <dst>

                作用：追加一个或者多个文件到hdfs指定文件中，也可以从命令行读取输入

 后期可使用appendToFile  合并小文件，减少NameNode中元数据的压力