Hadoop HDFS 命令

命令	说明
hadoop fs -mkdir	创建HDFS目录
hadoop fs -ls	列出HDFS目录
hadoop fs -copyFromLocal	使用-copyFromLocal复制本地(local)文件到HDFS
hadoop fs -put	使用-put复制本地(local)文件到HFDS
hadoop fs -cat	列出HDFS目录下的文件内容
hadoop fs -copyToLocal	使用-copyToLocal将文HDFS上的文件复制到本地(local)
hadoop fs -get	使用-get将HDFS上的文件复制到本地(local)
hadoop fs -cp	复制HDFS文件
hadoop fs -rm	删除HDFS文件

启动 Hadoop Multi-Node Cluster

启动4台服务器
在 master 服务器中，启动 Hadoop Multi-Node Cluster

start-all.sh

创建HDFS目录

创建 user 目录

hadoop fs -mkdir /user

在 user 目录下创建 hduser 子目录

hadoop fs -mkdir /user/hduser

在 hduser 目录下创建 test 子目录

hadoop fs -mkdir /user/hduser/test

-p 创建多级HDFS 目录

hadoop fs -mkdir -p /dir1/dir2/dir3

查看HDFS目录

查看之前创建的HDFS目录

hadoop fs -ls

查看HDFS完整目录

hadoop fs -ls /

查看 HDFS 的 /user 目录

hadoop fs -ls /user

查看 HDFS 的 /user/hduser 目录

hadoop fs -ls /user/hduser

-R 一次性查看所有子目录

hadoop fs -ls -R /

从本地复制文件到 HDFS

-copyFromLocal

从本地(master)复制文件到 HDFS 目录中

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/hduser/test

列出 HDFS 目录下的文件

hadoop fs -ls /user/hduser/test

列出 HDFS 目录下文件内容

hadoop fs -cat /user/hduser/test/README.txt

文件过大，加 |more 一页一页显示

hadoop fs -cat /user/hduser/test/README.txt|more

复制重复文件到HDFS 目录时，文件已经存在

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/hduser/test

强制复制重复文件 到 HDFS目录 -f

hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/hduser/test

复制多个本地文件 到 HDFS 目录

同时 复制 NOTICE.txt 与 LICENSE.txt 到 HDFS 目录下

hadoop fs -copyFromLocal /usr/local/hadoop/NOTICE.txt /usr/local/hadoop/LICENSE.txt /user/hduser/test

复制 目录 到 HDFS目录下

hadoop fs -copyFromLocal /usr/local/hadoop/etc /user/hduser/test

-R 列出 HDFS 目录下所有文件，包含子目录

hadoop fs -ls -R /user/hduser/test/etc

-put

-put 与 -copyFromLocal 不同之处是：如果文件已经存在，系统不会显示文件已经存在，而直接覆盖

使用 put 复制文件 到 HDFS目录

会直接覆盖文件

hadoop fs -put /usr/local/hadoop/README.txt /user/hduser/test/test2.txt

put 命令 接受 stdin (标准输入)

echo abc 原本是要显示在屏幕上的内容，通过 “|” (pipe管道) 符号传递给 hadoop 的命令，并且存储到 HDFS 目录下的文件 echoin.txt 中

echo abc | hadoop fs -put - /user/hduser/test/echoin.txt

put 命令 将本地目录列表 存储到 HDFS 目录文件中

ls /usr/local/hadoop | hadoop fs -put - /user/hduser/test/hadooplist.txt

将 HDFS 上的文件 复制到本地

copyToLocal

将 HDFS 上文件复制到本地

在 本地 创建测试test目录

cd 文档
mkidr test
cd test

将 HDFS 文件复制到本地

hadoop fs -copyToLocal /user/hduser/test/hadooplist.txt

整个HDFS目录 复制到 本地

hadoop fs -copyToLocal /user/hduser/test/etc

get

将 HDFS 上的文件 复制到 本地

hadoop fs -get /user/hduser/test/README.txt localREADME.txt

在 HDFS 上对文件进行 复制与删除

-cp 复制

在 HDFS 上创建测试目录 /user/hadoop/test/temp

 hadoop fs -mkdir /user/hduser/test/temp

复制 HDFS 文件 到 HDFS 测试目录

 hadoop fs -cp /user/hduser/test/README.txt /user/hduser/test/temp

-rm 删除

删除文件

hadoop fs -rm /user/hduser/test/test2.txt

删除目录 -R

删除 HDFS 目录

hadoop fs -rm -R /user/hduser/test/etc

在 Hadoop HDFS Web 用户界面浏览HDFS

http://master:50070