hadoop hdfs dfs基本操作

hadoop hdfs dfs基本操作

本文主要参考：

http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html

根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令hdfs version。

1、查询

使用命令：

hdfs dfs -ls / 这条执行会列出/目录下的文件和目录

hdfs dfs -ls -R /这条会列出/目录下的左右文件，由于有-R参数，会在文件夹和子文件夹下执行ls操作。

2、添加文件夹

使用命令；

hdfs dfs -mkdir -p /xytest/testdata001/

这里需要注意的是，root用户是否拥有hdfs 的权限，如果有，我们可以继续操作，如果没有，我们可以直接使用hdfs用户，默认安装完cdh后，用户hdfs拥有所有的权限。如果对于权限有不明白的，推荐看一下我的另一篇文章：

http://blog.csdn.net/wild46cat/article/details/69664376

3、增加文件

使用命令：

hdfs dfs -copyFromLocal ~/123.txt /xytest/testdata001/

4、查看hdfs文件中的内容

使用命令：

hdfs dfs -cat /xytest/testdata001/123.txt

或者，可以把hdfs中的文件copy到本地

使用命令：

hdfs dfs -copyToLocal  /xytest/testdata001/123.txt ~/222.txt

5、删除文件

使用命令：

hdfs dfs -rm -f /xytest/testdata001/123.txt

6、删除文件夹

使用命令：

hdfs dfs -rm -r /xytest/testdata001