HDFS shell 中-du -df 用法详解

最新推荐文章于 2024-03-14 14:58:09 发布
最新推荐文章于 2024-03-14 14:58:09 发布
阅读量1.1w 收藏 2
点赞数 2
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AnneQiQi/article/details/51173050
版权

HDFS shell 命令

输入hadoop fs 查看：

1：-df(linux下是查询磁盘空间大小)也可以查询某个目录的空间大小

查看根目录下磁盘空间大小

命令：hadoop fs -df /

为了方便查看可以加上 -h


2-du统计个目录下各个文件大小

同样可以加 -h

-du这里有一个bug 输入hadoop fs -du -h /*




应该输入hadoop fs -du -h hdfs://master:9000/*





幸运六叶草
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs-over-ftp安装包及说明
12-08
hdfs-over-ftp安装包及说明
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要） 导出器使用解析FSImage。 这种方法的优点是 快速（2.6 GB FSImage〜50s） 不会给HDFS NameNode增加额外的负担（没有NameNode查询，您可以在第二个NameNode上运行它） 缺点是 没有实时更新，仅在NameNode写入FSImage时每6小时更新一次。 但是对于大多数情况（长期趋势，检测HDF
hive库表占用空间大小的命令
最新发布
weixin_42115825的博客
03-14 864
3、查某一个分区占用空间大小（单位G)4、查某一个表总占用空间大小（单位G）1、查每个hive表占用的空间大小。5、统计hdfs某个表文件的数据量。2、按占用空间大小降序排列。
linux中du的常见用法和查看文件大小并排序
zeng6325998的博客
10-22 1394
常见用法 在linux中查看文件大小是个很常用的例子，我这里只列举常用的用法 du -s 仅显示总计，只列出最后加总的值。 du -h 以K，M，G为单位，提高信息的可读性。 du -s 应用在想知道目录具体有多大的时候 du -h 这样方便看，常常du -s 查询的时候也可以加上-h 但是有一种情况例外，就是如下这种 查看文件大小并排序 前两天我想看下有个目录下（HDFS的 和linux的用法一样）所有文件的大小并排下序 这里补充下sort的用法 sort -n 依照数值的顺序排序（由小到大
hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法
weixin_36213943的博客
03-13 1336
hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html以下是我的使用hadoop fs -du统计文件时使用的记录：[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui// :: INF...
hadoop 查看文件大小命令
立志宜思真品格，读书须尽苦功夫。
05-25 6712
hadoop fs -ls -du -s -h 文件目录
hdfs du操作
hanlanshenlan的专栏
08-16 2992
hdfs du操作 1）hadoop fs -du    显示hdfs对应路径下每个文件夹和文件的大小 2）hadoop fs -du -s    显示hdfs对应路径下所有文件和的大小 3）hadoop fs -du - h    显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示，例如用64M代替67108864
hdfs dfs -du -h 或者 hadoop fs -du -h 输出三列数据的含义
qq_46416934的博客
08-30 1387
所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）第二列表示该目录下所有文件在集群上的总存储大小。与你的副本数相关，我的副本数是3 ，第一列表示该目录下总文件大小。第三列表示你查询的目录。...
DataNode节点的数据块管理(2)——DF、DU
xhh198781的专栏
01-03 3683
HDFS作为一个分布式文件系统，它必须要知道自己当前整个集群存储空间的状态信息，如总容量、使用量、使用率、剩余可用量等信息，而HDFS正是通过统计所有的DataNode节点的存储空间信息来实现的。当DataNode节点向NameNode发送心跳包的时候，会顺便把自己当前的存储容量信息一并报告给它，那么，DataNode是如何知道自己的存储空间使用信息的呢？如果仅仅是通过人工输入总存储空间容量，统计
ls -l 、 du、 df 的区别
chiliaolm的博客
10-29 4160
ls -l 显示的是文件的大小，du 显示的是文件占的磁盘的大小，df显示的整个文件系统的磁盘使用情况，是一个整体的概念，下面主要介绍ls -l和du的区别。 ls -l 中会显示文件的大小，但是对于一个目录而言，ls -l显示的是这个目录本身的大小，并不包括这个目录中文件的大小，默认的单位是字节。通过加 -h选项可以增加可读性，会自动加上单位。 对于一个普通文件而言，ls -l显
hdfs du -sk 导致机器load高
偷闲小苑
11-10 1719
hdfs 会定期（默认10分钟）使用 du -sk 命令统计BP的大小，在大硬盘机器上该操作耗时将会很长（可能超过10分钟）。这会导致 iowait 以及 load的提升。 例如： 社区为了解决这个问题，主要在两个方面进行了改造： https://issues.apache.org/jira/browse/HADOOP-9884 使用 df 命令替换 du 允许用户自定义检查间隔时间 问题虽然被
Hadoop-HDFS-Shell-学习资料及文档、Java代码
10-01
内容概要： 架构、流程、机制、原理、环境、数据...HadoopHDFS-JavaRPC操作代码，含服务端和客户端代码； hadoop生态现状、介绍、部署； hadoop2.4.1伪分布式搭建； 分布式文件系统； 复安装过程详细步骤； hdfs笔记；
Hdfs的使用--详解
10-22
1.hdfs简介 2.hdfs的shell常用命令 3.hdfs的系统组成介绍 4.hdfs的组成部分详解
6、HDFS的HttpFS-代理服务
05-29
6、HDFS的HttpFS-代理服务 网址：https://blog.csdn.net/chenwewi520feng/article/details/130336221 本文介绍HttpFS的使用。 可以与前一篇文章一起阅读。HDFS API的RESTful风格–WebHDFS 本文分为四部分，即介绍、...
hive--删除表中的数据truncate
热门推荐
AnneQiQi的博客
05-15 6万+
delect:用于删除特定行条件,你可以从给定表中删除所有的行 TRUNCATE:truncate用于删除所有的行，这个行为在hive元存储删除数据是不可逆的 DROP:删除hive中的表 truncate 不能删除外部表！因为外部表里的数据并不是存放在Hive Meta store中 truncate: truncate table table_name;
hadoop集群搭建的无密登陆(密钥)---ssh(ssh-keygen -t rsa;scp ../id_rsa.pub >> ./authorized_keys)
AnneQiQi的博客
04-17 1万+
hadoop集群无密登陆示意图： #生成ssh免登陆密钥 #在没生成密钥的时候远程登陆是需要输入密码的，而且每一次启动hdfs的节点都是需要键入密码， #对应大量集群的hadoop这种问题是十分恶心的，基本上不可行。 无密码状态： 红色框框就是在远程登陆时需要输入密码！ 下面我以两台机器 主机：master 还有一台：slave1 作为演示ha
上传到HDFS上的文件遇到乱码问题
AnneQiQi的博客
06-30 1万+
今天写了一个小MapReduce的程序，跑在集群上一切正常，但是当我查看运行结果时却发现了bug，结果中的中文文字竟然是乱码；我就开始了我的找错之路。。。。 首先看看HDFS上我要用的文件本身内容有没有问题--------->运气好，一下就 查出来了，原来文件本身在上传过程中就乱码了。。。。          1）我开始重新上传，但是每一次上传的文件都是中文乱码；我原来用上传的文件是在虚拟机上
Hadoop HDFS 的 -mkdir 不支持级联创建目录
AnneQiQi的博客
04-17 1万+
1:hdfs的文件系统中如果没有目录aaa就要在其目录下创建bbb目录是不被允许的，即不支持级联创建新目录 hadoop fs -mkdir /aaa/bbb 如果aaa目录之前就已经存在则可以怎么创建 2:可以首先创建aaa目录 hadoop fs -mkdir /aaa 然后再在aaa下创建bbb hadoop fs  -mkdir /aaa/bbb
hdfs dfs -du -h 的使用方法
05-25
"hdfs dfs -du -h" 是一个 Hadoop 命令，用于查看指定路径下的所有文件和目录的大小。其中，-du 表示显示目录和文件的大小，-h 表示以人类可读的方式显示文件大小。 使用方法如下： 1. 打开终端或命令行界面。 2. 输入命令 "hdfs dfs -du -h [path]"，其中 [path] 是要查看的目录路径，可以是相对路径或绝对路径。 3. 按回车键执行命令，系统会列出指定目录下的所有文件和目录的大小，以人类可读的方式显示。 例如，要查看 HDFS 中 /user/hadoop 目录下所有文件和目录的大小，可以输入以下命令： ``` hdfs dfs -du -h /user/hadoop ``` 执行后，系统会显示出该目录下所有文件和目录的大小，例如： ``` 90.7 K /user/hadoop/file1.txt 2.1 M /user/hadoop/directory1 1.2 G /user/hadoop/bigfile.bin ``` 其中，文件和目录名在前面，大小在后面，单位为字节、千字节、兆字节或吉字节。由于加了 -h 参数，所以文件大小以人类可读的方式显示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值