HDFS常用Shell命令

安装Hadoop以后，就已经包含了HDFS组件，不需要另外安装。Hadoop支持很多Shell命令，例如hadoop fs、hadoop dfs和hdfs dfs都是HDFS最常用的Shell命令，分别用来查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。这3个命令既有联系又有区别。
（1）hadoop fs：适用于任何不同的文件系统，例如本地文件系统和HDFS文件系统。
（2）hadoop dfs：只能适用于HDFS文件系统。
（3）hdfs dfs：跟hadoop dfs命令的作用一样，也只能适用于HDS文件系统。
以下操作，统一使用hdfs dfs命令对HDFS进行操作。
查看命令使用方法
首先启动Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh

查看hdfs dfs支持的全部命令

./bin/hdfs dfs

查看某个命令的作用，如查询put命令的具体用法

./bin/hdfs dfs -help put

目录操作
创建用户目录
Hadoop系统安装好以后，第一次使用HDFS时，需要首先在HDFS中创建用户目录。本人采用的hadoop用户登录Linux系统，所以以下操作是在HDFS中为hadoop用户创建一个用户目录。

./bin/hdfs dfs -mkdir -p /user/hadoop

在用户目录下创建一个input目录

./bin/hdfs dfs -mkdir input

在创建input目录时，采用了相对路径形式，实际上，这个input目录创建成功以后，它在HDFS中的完整路径是/user/hadoop/input。等价于以下命令

./bin/hdfs dfs -mkdir /user/hadoop/input

查看HDFS上的所有目录

./bin/hdfs dfs -ls

在ls后加上路径，表示列出HDFS某个目录下的内容
删除目录

./bin/hdfs dfs -rm -r input

文件操作
在桌面目录下创建文件wordfile.txt，其内容为"Hello World"和
“Hadoop MapReduce”（两行）

touch wordfile.txt

利用put命令将wordfile.txt文件上传到user/hadoop/input1目录下

./bin/hdfs dfs -put /home/hadoop/桌面/wordfile.txt input1

查看文件是否成功上传到HDFS中

/bin/hdfs dfs -ls input1

查看HDFS中的wordfile.txt文件的内容

./bin/hdfs dfs  -cat input1/wordfile.txt

关闭Hadoop

以上就是HDFS中常用的Shell命令，本次操作就到此结束了，有哪里不对的地方可以随时指出来哦