HDFS shell 中-du -df 用法详解

最新推荐文章于 2024-08-01 04:28:00 发布
最新推荐文章于 2024-08-01 04:28:00 发布
阅读量1.1w 收藏 2
点赞数 2
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AnneQiQi/article/details/51173050
版权

HDFS shell 命令

输入hadoop fs 查看：

1：-df(linux下是查询磁盘空间大小)也可以查询某个目录的空间大小

查看根目录下磁盘空间大小

命令：hadoop fs -df /

为了方便查看可以加上 -h


2-du统计个目录下各个文件大小

同样可以加 -h

-du这里有一个bug 输入hadoop fs -du -h /*




应该输入hadoop fs -du -h hdfs://master:9000/*





幸运六叶草
关注
专栏目录
HDFS常用命令
blacklau的专栏
05-19 1520
1、查看空间使用情况：hdfs dfs -df -h Filesystem             Size   Used  Available  Use% hdfs://black:8020  58.8 G   356 K     28.9 G    0% 2、查看文件列表：hdfs dfs -ls / Found 3 items drwxr-xr-x   - hdfs
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
weixin_39636898的博客
11-20 571
注意:访问hdfs系统的指令hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小 hadoop fs 和 hdfs dfs之间没有太大的区别 1. 在命令行中输入hdfs，回车后，就会提示hdfs后可以使用哪些命令，其中有一个是dfs。 2. 在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令常用...
hadoop du 查询目录总大小
最新发布
weixin_42370743的博客
08-01 56
给大家整理了一些有关【AD,F】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/15764.htmlhttps://edu.51cto.com/course/27963.html如何使用 Hadoop du 查询目录总大小 在大数据处理的领域，Hadoop 是一个非常重要的框架，...
shell-du/df
java 学习路
03-28 117
du和df 是linux下查询空间占用的命令。 du查看目录，df查询磁盘 [b]du:统计目录（或文件）所占磁盘空间的大小。[/b] 默认要显示一个目录树及其每个子树的磁盘使用情况 -s或–summarize 仅显示总计，即当前目录的大小。 -h或–human-readable 以K，M，G为单位，提高信息的可读性。 --exclude='*xyz*'　去除某个路径 --m...
hdfs du操作
hanlanshenlan的专栏
08-16 3069
hdfs du操作 1）hadoop fs -du    显示hdfs对应路径下每个文件夹和文件的大小 2）hadoop fs -du -s    显示hdfs对应路径下所有文件和的大小 3）hadoop fs -du - h    显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示，例如用64M代替67108864
hdfs dfs -du -h 或者 hadoop fs -du -h 输出三列数据的含义
nana1253431195的博客
09-02 937
所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）第二列表示该目录下所有文件在集群上的总存储大小。与你的副本数相关，我的副本数是3 ，第一列表示该目录下总文件大小。第三列表示你查询的目录。
HDFS --- 基础操作应用
qq_48847763的博客
08-29 476
--- HDFS客户端操作 --- HDFS提供了两种客户端操作SHELL命令和JAVA接口都可以和HDFS系统交互!用户可以上传,下载,读取,追加数据内容,删除,移动...... namenode1)用于记录文件存储的元数据 对象（NameNode将这些数据的元数据信息记录在内存中，并且将这些元数据信息定期的序列化到本地磁盘上）, 记录用户操作的行为日志 .记录用户存储的文件的大小、切分的块数、每一块的副本数和存储在DataNode上的位置 2)接收客户端的请求,给datanode'分配...
HDFS的常用shell命令详解
千锋教育
02-14 631
注意:访问hdfs系统的指令。
Hadoop第五天--HDFS详解
你怎么回事
09-02 694
文章部分选自：https://blog.csdn.net/gwd1154978352/article/details/81095592 自己的话：层楼终究误少年，自由早晚乱余生 眼泪你别问，joker这个 “男人” 你别恨 Hadoop第五天–HDFS详解 先简单介绍一下Hadoop的结构以及各部分的组成和作用 hadoop的核心 1.HDFS: Hadoop Distributed Fi...
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode
黑泽君
02-05 719
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode
hadoop命令大全
上好佳的博客
01-17 2万+
hdfs命令大全 hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir  创建文件夹 hdfs dfs -rmr dir  删除文件夹dir hdfs dfs -ls  查看目录文件信息 hdfs dfs -lsr  递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息   第二类
[shell] du和df
Moke
07-15 330
区别 du,disk usage,是通过搜索文件来计算每个文件的大小然后累加，du能看到的文件只是一些当前存在的，没有删除的。他计算的是当前他认为的所有文件大小的累加。 df,disk free,通过文件系统来快速获取空间大小的信息，当我们删除一个文件的时候，这个文件不是马上就在文件系统中消失了，而是暂时消失了，当所有程序都不用时，才会根据操作系统的规则释放掉已经删除的文件，df记录的是通过文件系统获取到的文件的大小，他比du强的地方就是能看到已经删除的文件。 当文件系统也确定删除了该文件后，这时候du..
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
查看集群文件使用状态hdfs dfs -du -h /hbase --max-depth=1
似水流年
03-09 4539
[root@]# hdfs dfs -du -h /hbase --max-depth=1 0        0       /hbase/.tmp 755.6 M  5.2 G   /hbase/WALs 22.4 G   67.3 G  /hbase/archive 0        0       /hbase/corrupt 32.6 G   99.2 G  /hbase/dat
hdfs dfs -du -h 输出三列数据的含义
热门推荐
KNIFE_PAN的专栏
03-12 3万+
命令 hdfs dfs -du -h   /data/ 结果 102.3 M  307.0 M  /data/ 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以 第二列的是第一列的三倍 （第二列内容=文件大小*副本数） 第三列标示你查询的目录
探索HDFS-DU：交互式Hadoop文件系统可视化工具
gitblog_00061的博客
05-28 365
探索HDFS-DU：交互式Hadoop文件系统可视化工具 hdfs-duVisualize your HDFS cluster usage项目地址:https://gitcode.com/gh_mirrors/hd/hdfs-du HDFS-DU 是一个革命性的Hadoop分布式文件系统的实时监控和可视化工具，它以直观的界面展示文件系统的大小变化以及存储效率问题。借助树形图和文件树视图，用户可...
shell之df和du命令介绍
techenliu的博客
11-15 219
shell之df和du命令介绍
hdfs dfs -du -h 的使用方法
05-25
"hdfs dfs -du -h" 是一个 Hadoop 命令，用于查看指定路径下的所有文件和目录的大小。其中，-du 表示显示目录和文件的大小，-h 表示以人类可读的方式显示文件大小。 使用方法如下： 1. 打开终端或命令行界面。 2. 输入命令 "hdfs dfs -du -h [path]"，其中 [path] 是要查看的目录路径，可以是相对路径或绝对路径。 3. 按回车键执行命令，系统会列出指定目录下的所有文件和目录的大小，以人类可读的方式显示。 例如，要查看 HDFS 中 /user/hadoop 目录下所有文件和目录的大小，可以输入以下命令： ``` hdfs dfs -du -h /user/hadoop ``` 执行后，系统会显示出该目录下所有文件和目录的大小，例如： ``` 90.7 K /user/hadoop/file1.txt 2.1 M /user/hadoop/directory1 1.2 G /user/hadoop/bigfile.bin ``` 其中，文件和目录名在前面，大小在后面，单位为字节、千字节、兆字节或吉字节。由于加了 -h 参数，所以文件大小以人类可读的方式显示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值