HDFS集群的常见命令（一）

切记在hadoop用户下进行，记得从root切换（su - hadoop）

一，启停命令

1.一键启停

  # 一键启动hdfs集群

start-dfs.sh

# 一键关闭hdfs集群

stop-dfs.sh

2.单进程启停

1. $HADOOP_HOME/sbin/hadoop-daemon.sh，

此脚本可以单独控制所在机器的进程的启停 用法：

hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

2. $HADOOP_HOME/bin/hdfs，

此程序也可以用以单独控制所在机器的进程的启停 用法：

hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

1.

2.

二，文件操作命令

hadoop命令（老版本），用法：hadoop fs [generic options]

hdfs命令（新版本），用法：hdfs dfs [generic options]

1.创建文件夹

hadoop fs -mkdir [-p] <path> ...

hdfs dfs -mkdir [-p] <path> ...     

path 为待创建的目录     

-p选项的行为与Linux mkdir

-p一致，它会沿着路径创建父目录。

2.查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path> ...]

hdfs dfs -ls [-h] [-R] [<path> ...]     

path 指定目录路径     

-h 人性化显示文件size   

 -R 递归查看指定目录及其子目录

3.上传文件到HDFS指定目录

hadoop fs -put [-f] [-p] <localsrc> ... <dst>

hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

-f 覆盖目标文件（已存在下）     

-p 保留访问和修改时间，所有权和权限。     

localsrc 本地文件系统（客户端所在机器，Linux）     

dst 目标文件系统（HDFS）

4.查看HDFS文件内容

hadoop fs -cat <src> ...

hdfs dfs -cat <src> 

读取大文件可以使用管道符配合more

hadoop fs -cat <src> | more

hdfs dfs -cat <src> | more

5.下载HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>

hdfs dfs -get [-f] [-p] <src> ... <localdst>        

下载文件到本地文件系统指定目录，localdst必须是目录        

-f 覆盖目标文件（已存在下）        

-p 保留访问和修改时间，所有权和权限。

从hdfs下载到Linux本地

6.拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst>

hdfs dfs -cp [-f] <src> ... <dst>

-f 覆盖目标文件（已存在下）

是HDFS文件对HDFS文件的复制

7.追加数据到HDFS文件中

HDFS系统中只允许对文件进行删除和追加操作

hadoop fs -appendToFile <localsrc> ... <dst>

hdfs dfs -appendToFile <localsrc> ... <dst>        

将所有给定本地文件的内容追加到给定dst文件。dst如果文件不存在，将创建该文件。如果<localSrc>为-，则输入为从标准输入中读取。

8.HDFS数据移动操作

hadoop fs -mv <src> ... <dst>

hdfs dfs -mv <src> ... <dst>            

移动文件到指定文件夹下        

可以使用该命令移动数据，重命名文件的名称

9.HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URI [URI ...]

hdfs dfs -rm -r [-skipTrash] URI [URI ...]            

删除指定路径的文件或文件夹        

-skipTrash 跳过回收站，直接删除

回收站功能默认关闭，如果要开启需要在core-site.xml内配置：

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>  

<property>

<name>fs.trash.checkpoint.interval</name>

<value>120</value>

</property> 无需重启集群，在哪个机器配置的，在哪个机器执行命令就生效。 回收站默认位置在：/user/用户名(hadoop)/.Trash