HDFS常用命令

程光CS

已于 2023-08-15 16:35:45 修改

阅读量5.2k

点赞数 2

分类专栏：大数据开发文章标签： hdfs hadoop 大数据

于 2022-09-05 20:08:29 首次发布

本文链接：https://blog.csdn.net/m0_56602092/article/details/126704878

版权

5 篇文章

订阅专栏

本文列举了HDFS和YARN的常用操作命令，包括HDFS的创建、查看、移动与删除、上传与下载及运维相关命令，如安全模式检查。同时介绍了YARN的应用管理、节点查看等关键命令，帮助用户快速理解和使用这两个Hadoop核心组件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建指定路径文件夹

hdfs dfs -mkdir /user/zhaojuanjuan/syuchen_files

查看指定目录下的文件

hdfs dfs -ls /path

查看指定文件夹总大小

 hdfs dfs -du -s -h /path

查看指定目录下每一个文件夹的大小

hdfs dfs -du -h /path

直接查看gz文件内容

hadoop fs -cat /xxxx/xxx.gz | gzip -d

查看gz文件内容前几行

hadoop fs -cat /xxxx/xxx.gz | gzip -d | head -10

移动文件

hdfs dfs -mv 源文件路径 目标路径

删除hdfs文件夹

hdfs dfs -rm -r /path

直接删除不走回收站

hdfs dfs -rm -r -f -skipTrash /path

上传文件

hdfs dfs -put /本地路径 /路径

正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式

ls /OriginalFilePath | grep -E "2020-09.*" | xargs -i hdfs dfs -put /OriginalFilePath/{} /targetFilePath

下载文件到本地

hdfs dfs -get /hdfs路径 /本地路径

检查当前是否处于安全模式

hdfs dfsadmin -safemode get

离开安全模式。一般都是因为空间满了就自动进入安全模式了，此时读写数据会报错

hdfs dfsadmin -safemode leave

yarn命令文档：Apache YARN Commands

查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）

yarn application -list

根据应用id强行终止指定应用

yarn application -kill appid

查看所有处于running状态的节点

yarn node -list

查看所有节点

yarn node -list -all