HDFS 常用命令

HDFS 是在os的文件系统之上抽象出来的又一个文件系统.

权限

在命令行前加上 HADOOP_USER_NAME=admin 可临时提升执行权限.

命令

hdfs dfs 等价于 hadoop fs.

常用操作

• 查看文件信息
  hdfs dfs -ls -R hdfs://a/b
  递归地查看目录下的文件与子目录

• 查看文本文件内容
  $hadoop fs -cat hdfs://na61storage/pora/na61prod/save/14886/201807241919/data/fg.json

• 创建
  hdfs dfs -mkdir -p hdfs://a/b/c
  递归地创建目录, 若父目录不存在则自动创建

• 上传
  hdfs dfs -put /home/yichu.dyc/* hdfs://a/b/
  将本地文件放入HDFS文件系统
• 下载
  hadoop fs -get hdfs://na61storage/pora/hdfs-table/etao_backend/apollo_7074_trainset ~/
  将HDFS文件复制到本地文件系统的用户目录
• 删除
  hdfs dfs -rm -rf hdfs:/a/b
  递归地删除目录,并忽略确认信息.

参考

1. hadoop HDFS常用文件操作命令