Linux常用命令(Hadoop)

在master启动Hadoop集群

[zkpk@master ~]$ start-all.sh

hdfs命令行

Hadoop教程

显示磁盘使用率

• 以字节为单位，对所有的文件，这些文件匹配的路径;文件名报告使用完整HDFS协议前缀

hadoop fs -du

查看并输出文件末尾 1kb 的数据

• 例如，查看HDFS系统中文件/input/a.txt末尾1kb的内容。

hadoop fs -tail /input/a.txt

查看系统中的目录和文件

hadoop fs -ls <path>

• 递归列出目录及文件

hadoop fs -ls  -R <path>

创建文件

• 注意，不能创建级联目录。

hadoop fs -mkdir  <path>

• 使用-p参数创建多级目录，如果父目录不存在，则自动创建父目录。

hadoop fs -mkdir -p /input/file/

上传文件

hadoop  fs -put <src> <des>

hadoop  fs -copyFromLocal <src> <des>

下载文件

 hadoop fs -get <localDes> <src>

• 命令copyToLocal后边必须跟两个参数，第一个是HDFS上的文件的绝对路径\，第二个是本地要存档下载文件的路径\，必须存在，否则报错。

hadoop fs -copyToLocal  <src>  <localDes>

删除文件

• 文件路径必须存在，否则报错。

 hadoop fs -rm <path>

• 递归删除某个文件夹下所有的文件夹和目录

 hadoop fs -rmr <path>

移动文件夹

• 使用mv命令可以移动HDFS文件到另一个文件，相当于给文件重命名并且保存，但原文件被删除。例如，将/input/a.txt移动到/input/b.txt，不保留a.txt文件。

hadoop fs -mv /input/a.txt /input/b.txt

• 使用cp命令可以复制HDFS中的文件到另一个文件，相当于原文件重命名并且保存，并且原文件仍然存在。例如，将/input/a.txt复制到b.txt，并保留a.txt文件。

hadoop fs -cp /input/a.txt /input/b.txt