第2节、HDFS的Shell相关操作（开发重点，集群上操作hdfs）

一、基本语法

hadoop fs 具体命令 或者 hdfs dfs 具体命令

二、命令大全

2.1 查看命令

2.1.1 列出文件系统目录下的目录和文件

# -h 以更友好的方式列出，主要针对文件大小显示成相应单位K、M、G等
# -r 递归列出,类似于linux中的tree命令
hdfs dfs -ls [-h] [-r] <path>

2.1.2 查看文件内容

hdfs dfs -cat <hdfsfile>

2.1.3 查看文件末尾的1KB数据

hdfs dfs -tail [-f] <hdfsfile>

2.2 创建命令

2.2.1 新建目录

hdfs dfs -mkdir <hdfs path>

2.2.2 创建多级目录

hdfs dfs -mkdir -p <hdfs path>

2.2.3 新建一个空文件

hdfs dfs -touchz <filename>

2.2.4 上传本地文件到hdfs

# -f 如果hdfs上已经存在要上传的文件，则覆盖
hdfs dfs -put [-f]  <本地要上传的文件路径>   <hdfs上的路径>

从本地复制文件到HDFS：
hadoop fs - copyFromLocal [local path] [hdfs path]

2.2.5 从本地移动文件到hdfs（移动后本地就没有该文件）

hadoop fs -moveFromLocal [local path] [hdfs path]

2.3 删除命令

2.3.1 删除文件或目录

# -r 递归删除目录下的所有文件
# -f为直接删除，不予提示
# -skipTrash为彻底放入文件，不放入回收站
hdfs dfs -rm [-r] [-f] [-skipTrash] <hdfs path>

2.4 获取命令

2.4.1 将hdfs文件下载到本地

hadoop fs -get <hdfs path> <local path> 或者 hadoop fs -copyToLocal [hdfs path] [local path]
举例：将hdfs的/config目录下载到本地的/config目录下
hadoop fs -get /config /config

2.4.2 将hdfs文件合并起来下载到本地

hdfs dfs -getmerge [-nl] <hdfs path> <local path>
举例：将hdfs的/config/hadoop目录下的所有文件合并下载到本地的config.txt中
hdfs dfs -getmerge /config/hadoop config.txt

2.5 hdfs管理命令

2.5.1 查看文件系统健康状态

显示hdfs的容量、数据块、数据节点的信息
hdfs dfsadmin -report

2.5.2 安全模式管理

1)查看安全模式状态
hdfs dfsadmin -safemode get
2)强制进入安全模式
hdfs dfsadmin -safemode enter
3)强制离开安全模式
hdfs dfsadmin -safemode leave
注意：命令大多与linux操作系统命令一样，这里就不一一列举了