HDFS的Shell操作命令+示例

HDFS的Shell操作命令+示例

创建目录

[-mkdir [-p] …] #在分布式文件系统上创建目录 -p ，多层级创建

调用格式： hdfs dfs -mkdir (-p) /目录
例如：
- hdfs dfs -mkdir /data
- hdfs dfs -mkdir -p /data/a/b/c

上传命令

[-put [-f] [-p] [-l] … ] #将本地文件系统的文件上传到分布式文件系统中
调用格式： hdfs dfs -put /本地文件 /分布式文件系统路径
注意：直接写/是省略了文件系统的名称hdfs://ip；port

例如：
- hdfs dfs -put /root/a.txt /data/
- hdfs dfs -put /root/logs/* data/

其他指令：
[-moveFromLocal … <>dst] #将本地文件系统的文件上传到分布式文件系统中
[-copyFromLocal [-f] [-p] [-l] … ]

查看命令

[-ls [-d] [-h] [ …]]
调用格式： hdfs dfs -ls / #查看分布式文件系统的目录里内容

[-cat [-ignoreCrc] …]
调用格式： hdfs dfs -cat /xxx.txt #查看分布式文件系统的文件内容
[-tail [-f] ]
调用格式： hdfs dfs -tail /xxx.txt #查看分布式文件系统的文件内容，注意：默认最多查看1000行

下载命令

[-copyToLocal [-p] [-ignoreCrc][-crc] … ]