hdfs dfs -du -h 或者 hadoop fs -du -h 输出三列数据的含义

最新推荐文章于 2024-08-17 09:12:05 发布
最新推荐文章于 2024-08-17 09:12:05 发布
阅读量4.1k 收藏 8
点赞数 1
分类专栏： Hadoop 文章标签： 大数据 linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sheepflysun/article/details/108278258
版权
本文解析了目录下文件大小与其在集群上存储大小的关系，揭示了存储大小为文件大小乘以副本数（如3倍）的原理，帮助理解文件系统的工作机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

显示图
第一列表示该目录下总文件大小

第二列表示该目录下所有文件在集群上的总存储大小
与你的副本数相关，我的副本数是3 ，
所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

第三列表示你查询的目录

Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
シ風
07-27 1561
Hadoop fs：使用面最广，可以操作任何文件系统。 hadoop dfs 与 hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 hadoop fs hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件，-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst] 从本地加载文
Hadoop--hdfs/dfs常用命令的使用
newas3的博客
01-07 438
-mkdir　　创建目录 hdfs dfs -mkdir [-p] < paths> -ls　　查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put　　将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc> … < dst> -get　　将文件或目录从HDFS中的路径拷贝到本地文件路径 hdfs dfs -get [-ignoreCrc] [-crc]
HDFS常用命令
blacklau的专栏
05-19 1660
1、查看空间使用情况：hdfs dfs -df -h Filesystem             Size   Used  Available  Use% hdfs://black:8020  58.8 G   356 K     28.9 G    0% 2、查看文件列表：hdfs dfs -ls / Found 3 items drwxr-xr-x   - hdfs
Hadoop FS Shell 命令
gnn_explorer的博客
03-01 812
概述 文件系统(FS) shell包括与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统(如本地FS、HFTP FS、S3 FS等)直接交互的各种类shell命令。FS shell是通过以下方式调用的: bin/hadoop fs &amp;amp;amp;amp;amp;amp;lt;args&amp;amp;amp;amp;amp;amp;gt; appendToFile 用法: hadoop fs -appendToFile &amp;amp;amp;
hdfs dfs //查看所有命令
Deng872347348的博客
12-08 1887
hdfs dfs //查看所有命令 hdfs dfs -help ls //查阅帮助 hdfs dfs -usage ls //查看命令格式 hdfs dfs -ls//列出目录和文件 hdfs dfs -mkdir//创建文件夹 hdfs dfs -cat/text//查看文件内容 hdfs dfs -touchz//新建文件 hdfs dfs -appendToFile//追加文件 hdfs dfs -put/get//上传/下载文件 hdfs dfs -rm//删除文件 ...
Hadoop HDFS篇
2301_77331760的博客
04-01 749
HDFS 基础
Hdfs(七) 常用命令
技术博客
08-17 709
用法：hdfs dfs -mv URI [URI ...] <dst> 或 hdfs dfs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]用法：hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>用法：hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>用法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI]
HDFS命令
weixin_44976835的博客
08-20 1383
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类：空间大小查看系列命令： hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小 hdfs dfs -dus uri 递归显示目标
Hadoop—hadoop fs 命令使用
sodaloveer的博客
11-03 4432
hadoop fs 基础命令汇总
记一次查找Hdfs磁盘占用空间比实际存储文件大4倍的原因
weixin_34266504的博客
10-23 2483
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop fs 常用命令
m0_67266787的博客
04-03 4075
操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。 Hadoop启动： start-all.sh 等价于 start-dfs.sh + start-yarn.sh 一般不推荐使用start-all.sh 常用命令： hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 hadoop fs –lsr //循环列出目录、子目录及文件信息 hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 had
hadoop fs 常用命令
qq_41758898的博客
06-15 800
查询hdfs系统的目录结构： hadoop fs -ls /test/gonganbu/scene_analysis_suggestion/* 随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100 返回最后几行的样本数据 hado
大数据组件相关命令总结
小强签名设计 的博客
08-20 4979
文章目录一、hadoop fs命令二、yarn相关命令 一、hadoop fs命令 查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more 统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509 查看hdfs中文件的前n行：hadoop fs -text file | head -n 100 查看hdfs中文件的后n行
Hadoop 常用查看文件的命令
热门推荐
qq_34905853的博客
07-03 1万+
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /test/gong...
Hadoop HDFS常用文件操作命令
onlyyou0516的博客
05-15 895
hadoop HDFS常用文件操作命令
hdfs dfs -r
最新发布
12-17
`hdfs dfs -r` 是Hadoop分布式文件系统（HDFS）命令行工具 `hadoop fs` 的一个选项，其中 `-r` 表示 "recursive" 或者 "递归"。它用于执行操作以遍历整个目录树，包括所有子目录。常用的与 `-r` 结合使用的操作有： 1. **列出目录内容**：`hdfs dfs -r -ls <path>` 会列出指定路径（包含子目录）下的所有文件和子目录，显示详细信息如权限、用户、时间戳等。 2. **复制目录**：`hdfs dfs -r cp <src> <dst>` 将源目录及其内容复制到目标目录，如果目标是一个文件，则会被替换为目录结构。 3. **删除目录**：`hdfs dfs -r rm -f <path>` 删除指定路径（包括所有内容），`-f` 参数表示强制删除，不会询问确认。 4. **移动目录**：`hdfs dfs -r mv <src> <dst>` 移动源目录及其内容到新位置，同理 `-f` 可强制执行。 5. **获取目录大小**：前面提到的 `hadoop fs -du -s` 也可以配合 `-r` 查看整个目录树的总体大小。 通过 `hdfs dfs -r`，你可以对HDFS中的大规模目录进行高效的操作和管理。但是需要注意的是，递归操作可能会消耗大量资源，特别是处理大文件系统时，因此在实际使用时要谨慎。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值