HDFS常用命令汇总

前言

• 官网命令说明查看
  

说明：

命令	适用范围
hadoop fs	使用范围最广，建议使用，可操作任何对象
hadoop dfs	只可操作HDFS文件系统(已弃用)
hdfs fs	只可操作HDFS文件系统，包括与Local FS间的操作
hdfs dfs	只可操作HDFS文件系统，常用

---

一、帮助信息查看

1、查看帮助信息

hadoop fs

[]表示可选参数，<>表示必须参数

2、帮助文档（附带命令的详细说明）

hadoop fs –help

二、常用命令

1、列出了当前工作目录中所有可用的目录和文件

hdfs dfs -ls /user/hive/warehouse/temp.db

2、下载文件

• 下载文件到本地指定目录

#参数1 hdfs远程目录, 参数2 本地目录
hdfs dfs -get /user/hive/warehouse/temp.db/tmp_longchuan_veh_cluster_stops_key_points /home/ctitc/lf/jzxkc/vehStopKeyPoint/

3、上传文件

#参数1 本地文件, 参数2 hdfs远程目录
hdfs dfs -put zqxk.csv /user/hive/warehouse/temp.db/zqxk_veh

4、移动文件

• 移动文件到指定目录下(也可重命名文件)

# hdfs dfs -mv <源路径> <目标路径>
hdfs dfs -mv /user/hive/warehouse/mid.db/zq_freight_industry_index_di/date=20221002 /user/hive/warehouse/dws.db/dws_vehicle_industry_index_di/

5、删除文件

• 删除指定参数的文件，如果启用了垃圾箱，文件系统会将删除的文件移动到垃圾箱目录，默认情况下禁用垃圾箱功能，用户可以通过为参数fs.trash.interval（在core-site.xml中）设置大于零的值来启用垃圾箱。

删除单个文件：
hdfs dfs -rm /path/to/your/file.txt
删除多个文件：
hdfs dfs -rm /path/to/your/file1.txt /path/to/your/file2.txt
删除目录及其所有内容（递归删除）：
hdfs dfs -rm -r /path/to/your/directory
请注意，在生产环境中使用删除命令时要格外小心，因为删除操作是不可逆的。

6、查看文件使用的空间

#查询路径磁盘占用详情
hdfs dfs -du -s -h /user/hive/warehouse/temp.db/tmp*
#查询点位数据是否齐全
hdfs dfs -du -s -h /user/hive/warehouse/position.db/parquet_gnss_test/gnsspartition=202310*

---

总结

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!

参考1