Hadoop shell 常用命令总结

小蔡白白

于 2021-07-04 16:34:04 发布

阅读量175

点赞数 2

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/Leopoldxie/article/details/117868397

版权

1 篇文章 0 订阅

订阅专栏

本文详细介绍了Hadoop分布式文件系统(HDFS)和YARN的管理操作，包括启动和停止HDFS及YARN服务，使用HDFS Shell进行文件的创建、上传、下载、查看、移动和删除，以及权限和所有权的管理。此外，还提到了HDFS的清理和目录创建等操作。

摘要由CSDN通过智能技术生成

start-dfs.sh	启动HDFS进程
stop-dfs.sh	关闭HDFS进程
start-yarn.sh	启动yarn
jps	命令查看HDFS服务是否启动
hdfs dfs -help	查看到所有HDFS Shell用户命令解释
hadoop dfsadmin -help	查看 dfs管理命令帮助
touch words.txt	新建words.txt文本，并对文本进行编辑
hdfs dfs -get /words.txt /simple/words.txt	把HDFS根目录下的words.txt文件下载到/simple目录下
hdfs dfs -put /simple/words.txt /	上传文件
hdfs dfs -cat /words.txt	查看HDFS指定目录下的文件内容
hdfs dfs -mv /words.txt /wordscp.txt	把HDFS上指定的文件移动到指定的HDFS位置
hdfs dfs -ls /	本示例是查看HDFS根目录下所有文件和文件夹
HDFS Shell基本命令（二）
hdfs dfs -rmr /	rmr循环删除hdfs系统中的目录
hdfs dfs -touchz /newword.txt	在HDFS系统指定的目录下创建一个文件
hdfs dfs -mkdir -p /aa	在HDFS系统的指定位置创建一个目录
hdfs dfs –moveFromLocal /simple/words.txt /aa	把指定的本地文件移动到HDFS系统指定的位置
hdfs dfs -chgrp -R root /	修改HDFS系统中指定文件或文件夹的用户所属组
hdfs dfs -chmod -R 777 /	改变指定目录文件的权限，如果指定R表示递归进行改变所有文件目录和文件的权限
hdfs dfs -chown -R root:supergroup /	改变文件的所有者，用户必须是超级用户
hadoop fs -rm -r -skipTrash /folder_name	Hadoop 从HDFS中删除文件夹命令
hadoop fs -rm -r -skipTrash /path_to_file/file_name	Hadoop 从HDFS中删除文件命令