HDFS常用命令(移动、复制、文件大小)

本文详细介绍了HDFS中常用的命令,包括显示目录内容(-ls, -lsr), 查看文件大小(-du, -count), 文件移动(-mv), 复制(-cp), 删除(-rm, -rmr), 从本地复制到HDFS(-put, -copyFromLocal, -moveFromLocal), 在终端显示文件内容(-cat, -text), 创建文件夹(-mkdir, -touchz)以及文件过滤(-grep)等操作。" 120313512,8513971,Java实现UDP聊天室详解,"['Java', '网络编程', 'UDP通信', '多线程开发', 'TCP/IP协议']
摘要由CSDN通过智能技术生成

HDFS常用命令:
path 为路径 src为文件路径 dist 为文件夹
1、-help[cmd] 显示命令的帮助信息

./hdfs dfs -help ls

2、-ls® 显示当前目录下的所有文件 -R层层循出文件夹

./hdfs dfs -ls /log/map./hdfs dfs -lsr /log/ (递归的)

3、-du(s) 显示目录中所有文件大小,或者当只指定一个文件时,显示此文件的大小

./hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file
hdfs://host:port/user/hadoop/dir

4、-count[-q] 显示当前目录下的所有文件大小

5、-mv 移动多个文件目录到目标目录

./hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2

6、-cp 复制多个文件到目标目录
./hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2
(将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。)

7、-rm( r ) 删除文件(夹)
./hdfs dfs -rmr /log/map1 (递归删除)

8、-put 本地文件复制到hdfs
./hdfs dfs -put test.txt /log/map/

9、-copyFromLocal 本地文件复制到hdfs
./hdfs dfs -copyFromLOcal /usr/data/text.txt /log/map1/
(将本地的text.txt 复制到hdfs的/log/map1/下)

10、-moveFromLocal 本地文件移动到hdfs
./hdfs dfs -moveFromLocal /usr/data/t

### 回答1: 1. hdfs dfs -ls:列出HDFS上的文件和目录 2. hdfs dfs -mkdir:创建一个新目录 3. hdfs dfs -put:将本地文件上传到HDFS 4. hdfs dfs -get:将HDFS上的文件下载到本地 5. hdfs dfs -rm:删除HDFS上的文件或目录 6. hdfs dfs -mv:移动HDFS上的文件或目录 7. hdfs dfs -cp:复制HDFS上的文件或目录 8. hdfs dfs -cat:查看HDFS上的文件内容 9. hdfs dfs -tail:查看HDFS上文件的末尾内容 10. hdfs dfs -du:查看HDFS上文件或目录的大小 ### 回答2: HDFS(Hadoop分布式文件系统)是一个可扩展性高、容错性强、高吞吐量的分布式文件系统,常用于存储和管理大数据,支持并行处理和海量数据访问。 HDFS提供了一些常用的Shell命令,可以在终端很方便地操作HDFS文件系统。 1. hadoop fs -ls /path:此命令用于列出指定路径下的文件(目录)信息,包括文件(目录)名称、大小、权限、所属用户和组等相关信息。 2. hadoop fs -mkdir /path:此命令用于创建一个目录或多个目录,可以在命令后添加多个目录路径,以逗号分隔。 3. hadoop fs -put localfile /path:此命令用于将本地文件或目录上传到HDFS指定的路径下,可以上传一个文件或多个文件。 4. hadoop fs -get /path localfile:此命令用于将HDFS路径下的文件或目录下载到本地文件系统指定的路径下。 5. hadoop fs -rm /path:此命令用于删除HDFS路径下的文件或目录,可以删除一个文件或多个文件,也可以通过-r选项递归删除目录及其下面的所有文件和目录。 6. hadoop fs -cat /path:此命令用于输出HDFS路径下的文件内容,常用于查看文件的内容。 7. hadoop fs -du /path:此命令用于查看HDFS路径下文件或目录的大小,以字节计算。 8. hadoop fs -cp /src /dst:此命令用于将一个文件或目录从源路径复制到目标路径,可以同时复制一个文件或多个文件,也可以复制目录。 以上是HDFS常用的一些Shell命令,操作简单方便,可以有效地管理和维护HDFS文件系统。 ### 回答3: HDFS(分布式文件系统)是一种用于处理大型数据集的可扩展性存储解决方案。它的设计重点是不同的容错机制,能够处理大量数据并保证其可靠性。在HDFS,常用的控制命令是Hadoop Shell命令。以下是HDFS常用的Shell命令: 1. hadoop fs -ls [/path]:用于列出HDFS文件系统指定路径下的所有文件和目录。 2. hadoop fs -mkdir [/path]:用于创建目录。如果目录路径已经存在,则无法创建。 3. hadoop fs -rmr [/path]:用于删除指定路径下的所有文件和目录。使用该命令要非常小心,因为它会直接删除目录及其下所有内容。 4. hadoop fs -put [local path] [HDFS path]:用于将本地文件复制HDFS上。 5. hadoop fs -get [HDFS path] [local path]:与put命令相反,将HDFS文件复制到本地。 6. hadoop fs -cat [HDFS file path]:用于查看文件的内容。 7. hadoop fs -chgrp [group] [file/dir]:用于更改文件或目录的一组用户组。 8. hadoop fs -chmod [mode] [file/dir]:用于更改文件或目录的权限。 9. hadoop fs -chown [user] [file/dir]:用于更改文件或目录的所有者。 10. hadoop fs -du [/path]:用于计算一个给定目录的磁盘使用情况。 以上是Hadoop文件系统常用的Shell命令。这些命令可以帮助用户管理文件和目录,进行权限更改,查看内容等。理解和掌握这些命令是Hadoop分布式文件系统管理的关键。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值