看hdfs指定文件夹大小

最新推荐文章于 2024-08-01 04:28:00 发布
最新推荐文章于 2024-08-01 04:28:00 发布
阅读量1.7k 收藏 1
点赞数
文章标签： hive 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/macfei/article/details/121540718
版权
本文介绍了如何使用HDFS命令行工具`hdfs dfs -du -s -h`来查看文件夹的大小，并通过`du -sh ../log/* | sort -nr`进行排序，便于管理和分析HDFS上的文件大小。
摘要由CSDN通过智能技术生成

看hdfs指定文件夹大小

hdfs dfs -du -s -h path

第一列是实际文件夹大小,第二列是备份大小
在这里插入图片描述
查看文件大小并排序

du -sh ../log/* |sort -nr

在这里插入图片描述
在这里插入图片描述

之首木乔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
zhengzaifeidelushang的博客
11-23 1611
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
HDFS客户端工具.rar
11-06
使用HDFS客户端工具，用户可以直接从Windows本地文件系统选择文件或文件夹，一键上传到HDFS。这种方式极大地简化了数据迁移的过程，尤其在处理大量小文件时，比命令行工具更加直观和便捷。 3. **数据下载** 相似...
查看hdfs 文件夹大小
很吵请安静
09-10 4319
hadoop fs -du -s -h +文件夹名
查看hdfs文件夹大小
热门推荐
fanlying的博客
06-19 3万+
例如查看ods库大小：hadoop fs -du -s -h /user/hive/warehouse/ods.db如果要查看其他文件夹则改成该文件夹路径。去掉-h选项则按Byte单位显示。
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
hdfs+MapReduce
01-21
- dus：显示文件或文件夹的大小。 - 移动（mv） - 功能：将文件从一个目录移动到另一个目录。 - 复制（cp） - 功能：在HDFS上复制一份文件。 - 删除（rm, rmr） - rm：删除指定的文件。 - rmr：递归地删除...
四结点hdfs搭建
08-02
- 安装JDK到指定位置时，需要在/usr文件夹下创建一个新的文件夹（如mkdir java），并将下载的JDK文件移动到该文件夹。 - 解压JDK文件，通常使用命令`tar -zxvf jdk-7u80-linux-x64.gz`（具体版本号根据下载的实际...
Java访问Hadoop分布式文件系统HDFS的配置说明
09-02
`dfs.blocksize`定义了HDFS中的数据块大小，此例为128MB。 其他配置如`dfs.namenode.servicerpc-address`、`dfs.https.address`等涉及HDFS的服务地址和端口，而`dfs.client.use.datanode.hostname`则控制是否使用...
Hadoop框架之HDFS的shell操作
12-08
使用方式为“hadoop fs -du <路径>”，可以查看指定目录下的文件大小。 8. dus命令：用于汇总显示目录下文件的大小。使用方式与du类似，但会给出总的文件大小。 9. count命令：用于统计文件夹、文件数量及文件总...
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
SUNK2014的博客
05-21 3585
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这个指令的结果进行一定的处理，可以得到和上面一样的效果，在此记录一下供大家参考，路线下的占用情况，而且这个脚本也可以兼容不同量级的存储大小，进行排序的时候，KB、MB、GB、TB 也是按顺序进行排列的。
shell命令查询hdfs某路径下某种类型的文件大小
shenmingyue_xy的博客
10-18 336
仅显示HDFS根目录大小。即各文件和文件夹大小之和。#以最大单位显示HDFS根目录中各文件和文件夹大小。/user/$user : hdfs 文件路径。#显示HDFS根目录中各文件和文件夹大小。获取逻辑空间文件/目录大小 du。#使用正则表达式-E 选项。
查看hdfs上某个表目录下文件的大小
硅谷工具人
06-21 1089
hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/p...
通过获取HDFS目录/文件夹大小来控制reduce个数
superye1983的专栏
11-28 4218
一般map的个数系统会根据文件block数量来获取 而reduce个数一般默认1个，在每个JOB用户根据自己的需要自己调整 但是往往同一个JOB在不同目录下获取的数据大小相差很多，所以要根据每次获取数据的大小来确定reduce public static long getDirSize(Path dir, Configuration conf) throws IOException{
查看hdfs目录下每个目录大小
qq_36470475的博客
03-17 1886
hadoop fs -du /user/hive/warehouse/ods.db/ | tail -n +2 | sort -r -n | awk '{size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,$2);}else{size=size/1024;if(size<1024){printf("\033[36m%10.3...
HDFS目录数及大小设置
u012667450的博客
04-28 3188
HDFS目录数及大小设置 前言 由于时间紧急，本人稍微调研了下，HDFS配置中是有目录文件夹数量限额的，但没有存储空间资源限额。 需求 1.需要在集群管理上开发项目使用的HDFS目录下的文件数量限额。比如一个HDFS目录下最多运行10个文件。 2.需要在集群管理上开发项目使用的存储资源限额。比如：一个目录不能超过100G。 调研 针对这两个小需求，去官网找了下hdfs-site.xml的所有属性配置。得到的结论是： 可以设置HDFS目录下文件数量，但不能设置文件的存储大小。 <!--这个属性是设置HD
hdfs使用命令行查看总容量和使用量
qq_26432153的博客
05-05 412
hdfs使用命令行查看总容量和使用量
hadoop du 查询目录总大小
最新发布
weixin_42370743的博客
08-01 28
给大家整理了一些有关【AD,F】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/15764.htmlhttps://edu.51cto.com/course/27963.html如何使用 Hadoop du 查询目录总大小 在大数据处理的领域，Hadoop 是一个非常重要的框架，...
掌握Hadoop HDFS命令行操作：从基础到高级实践
9. **查询文件信息**：如`hdfs dfs -cat 文件名`查看文件内容，`hdfs dfs -count 文件夹名`统计文件数量，`hdfs dfs -du [-s][-h] 文件夹名`计算文件夹大小。 10. **安全模式**：通过`hdfs dfsadmin-safemode get`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值