hadoop-HDFS常用命令

最新推荐文章于 2025-02-20 14:06:53 发布

zhangfei_bk

最新推荐文章于 2025-02-20 14:06:53 发布

阅读量1k

点赞数

分类专栏： hadoop 文章标签：大数据 hadoop hdfs

本文链接：https://blog.csdn.net/qq_45097352/article/details/119641323

版权

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了HDFS（Hadoop Distributed File System）中的关键命令，包括上传文件的`moveFromLocal`、`copyFromLocal`、`put`以及`appendToFile`，下载文件的`copyToLocal`和`get`，以及直接在HDFS上进行的诸如`ls`、`cat`、`chmod`、`mkdir`、`cp`、`mv`、`tail`、`rm`、`rm-r`、`du`和`setrep`等操作。这些命令对于日常管理和维护HDFS至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1.上传

1.-moveFromLocal：本地文件剪切粘贴到 HDFS

# hadoop fs -moveFromLocal 本地文件路径 HDFS文件目录
 hadoop fs -moveFromLocal ./shuguo.txt /sanguo

2.-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

# hadoop fs -moveFromLocal 本地文件路径 HDFS文件目录
 hadoop fs -copyFromLocal ./shuguo.txt /sanguo

3.-put：等同于 copyFromLocal，生产环境更习惯用 put

# hadoop fs -moveFromLocal 本地文件路径 HDFS文件目录
 hadoop fs -put ./shuguo.txt /sanguo

4.-appendToFile：追加一个文件到已经存在的文件末尾

#hadoop fs -appendToFile 本地要追加的文件 HDFS上被追加的文件
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt	# 把liubei.txt的内容追加到shuguo.txt后面

2.下载

1.-copyToLocal：从 HDFS 拷贝到本地

# hadoop fs -copyToLocal HDFS文件路径 本地路径
hadoop fs -copyToLocal /sanguo/shuguo.txt ./		# 将shuguo.txt拷贝到当前文件夹

2.-get：等同于 copyToLocal，生产环境更习惯用 get

# hadoop fs -get HDFS文件路径 本地路径
hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt		# 将shuguo.txt拷贝到当前文件夹

3. HDFS 直接操作

1.-ls: 显示目录信息

 hadoop fs -ls /sanguo

2.-cat：显示文件内容

hadoop fs -cat /sanguo/shuguo.txt

3.-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

 hadoop fs -chmod 666 /sanguo/shuguo.txt

4.-mkdir：创建路径

hadoop fs -mkdir /jinguo

5.-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

hadoop fs -cp /sanguo/shuguo.txt /jinguo

6.-mv：在 HDFS 目录中移动文件

hadoop fs -mv /sanguo/wuguo.txt /jinguo

7.-tail：显示一个文件的末尾 1kb 的数据

hadoop fs -tail /jinguo/shuguo.txt

8.-rm：删除文件或文件夹

hadoop fs -rm /sanguo/shuguo.txt

9.-rm -r：递归删除目录及目录里面内容

hadoop fs -rm -r /sanguo

10.-du 统计文件夹的大小信息

hadoop fs -du -s /jinguo		#文件夹总大小
hadoop fs -du -h /jinguo		#文件夹内部具体文件大小细节

11.-setrep：设置 HDFS 中文件的副本数量

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10台时，副本数才能达到 10。

 hadoop fs -setrep 10 /jinguo/shuguo.txt