HDFS 常用命令整理

hdfs 操作命令主要是以 hadoop fs 、hadoop dfs 、hdfs dfs 为前缀进行操作的,语法跟linux系统命令相似

1. 查询根目录下的文件结构

# 查询 / 目录下的内容
hdfs dfs -ls /
# 递归查询 / 目录下的所有内容
hadoop fs -ls -R / 

# 查看文件夹下文件的大小
hdfs dfs -du -h /

2. 创建文件/文件夹

# 创建文件夹
hdfs dfs -mkdir /test 
# 批量创建文件夹
hafs dfs -mkdir -p /test/test01/test001/

# 创建文件
hdfs dfs -touch /test/a.txt

3. 复制/移动 文件/文件夹

# 复制文件到根目录,并将文件重命名为 a_copy.txt
hdfs dfs -cp /show/a.txt /a_copy.txt

# 移动文件到 /show 目录下,并重命名为 b.txt
hdfs dfs -mv /a_copy.txt /show/b.txt

4. 本机文件上传到hdfs

# 本地创建一个文件
echo "test123" > test001.txt
# 将本地文件上传到 hdfs 的 /show/ 目录下 
# 剪切到 hdfs
hdfs dfs -moveFromLocal ./test001.txt /show/ 
# 复制到 hdfs, -put 和 -copyFromLocal 的作用一样
hdfs dfs -copyFromLocal ./test001.txt /show/
hdfs dfs -put ./test001.txt /show/ 

5.本地下载hdfs上的文件

# 从 hdfs 上将文件下载到本地当前目录
hdfs dfs -copyToLocal /show/a.txt ./

6.查看hdfs上文件的内容

# 查看文件内容
hdfs dfs -cat /show/test001.txt
# 显示一个文件末尾的数据,作用同linux中的 tail
hdfs dfs -tail /show/test001.txt

7.hdfs 文件/文件夹 权限设置

# 修改文件的权限
 hdfs dfs -chmod 777 /show/a.txt

# 修改文件的用户
 hdfs dfs -chown -R root /show/a.txt
# 修改文件的组
 hdfs dfs -chgrp -R supergroup /show/a.txt

8. hdfs 文件/文件夹的删除

# 删除文件 test002.txt
hdfs dfs -rm /show/test002.txt

# 递归删除整个 /show/ 文件夹
hdfs dfs -rm -R /show/

 

总结 : hdfs 命令不是很多,在这里简单记录下,方便以后查看!!!