查看hdfs 文件夹大小

最新推荐文章于 2024-03-14 14:58:09 发布
最新推荐文章于 2024-03-14 14:58:09 发布
阅读量4.2k 收藏 1
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dpengwang/article/details/82589428
版权

hadoop fs -du -s -h +文件夹名

肯德基套餐
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
zhengzaifeidelushang的博客
11-23 1439
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
查看hdfs目录下每个目录大小
qq_36470475的博客
03-17 1842
hadoop fs -du /user/hive/warehouse/ods.db/ | tail -n +2 | sort -r -n | awk '{size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,$2);}else{size=size/1024;if(size<1024){printf("\033[36m%10.3...
hive库表占用空间大小的命令
最新发布
weixin_42115825的博客
03-14 881
3、查某一个分区占用空间大小（单位G)4、查某一个表总占用空间大小（单位G）1、查每个hive表占用的空间大小。5、统计hdfs某个表文件的数据量。2、按占用空间大小降序排列。
hadoop查看hdfs目录大小，以MB为单位
芒果summer小仙女
01-11 2886
hadoop查看hdfs目录大小，以MB为单位 /bin/hadoop fs -du `hdfs目录名` | awk -F ' ' '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' | sort -n
hdfs查看目录大小文件大小
勤能补拙
07-28 1万+
1、hadoop fs -du /test 查看test子目录大小 2、hadoop fs -count -q /test
hdfs查看各级目录文件的大小
热门推荐
u012562302的博客
10-24 4万+
1.hadoop dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hadoop dfs -ls -h也可以查看文件大小 但是当子文件目录过多时 统计的大小为0
查看hdfs文件夹大小
fanlying的博客
06-19 3万+
例如查看ods库大小：hadoop fs -du -s -h /user/hive/warehouse/ods.db如果要查看其他文件夹则改成该文件夹路径。去掉-h选项则按Byte单位显示。
看hdfs指定文件夹大小
macfei的博客
11-25 1725
看hdfs指定文件夹大小 hdfs dfs -du -s -h path 第一列是实际文件夹大小,第二列是备份大小
Hadoop 存储占用分析命令，查看 Hdfs 文件夹占用大小
SUNK2014的博客
05-21 3374
兼职公司 Hadoop 运维之后，经常要解决 Hdfs 空间占用的问题，不知道哪天谁又在集群上留下一大堆缓存文件也不清掉，Hadoop 本身默认就是三副本，人一多每个人留一点结果占用了一堆的存储空间。在 Hdfs 上也支持使用 du 进行文件大小的分析，但是套用上面的模式，就会有些不兼容，所以我对这个指令的结果进行一定的处理，可以得到和上面一样的效果，在此记录一下供大家参考，路线下的占用情况，而且这个脚本也可以兼容不同量级的存储大小，进行排序的时候，KB、MB、GB、TB 也是按顺序进行排列的。
文件夹大小查看器
03-01
磁盘空间到底被啥占满了，来来来，这里分享可以查看系统各个文件夹大小的神器
文件夹大小查看工具
04-30
文件夹大小查看工具，按树状结构列出文件夹内各文件的大小。
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
4.1.3. HDFS文件块大小 5 4.2. HDFS的shell操作 6 4.2.1. 基本语法 7 4.2.2. 参数大全 8 4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3....
java大数据内容_2HDFS
01-23
-du(s) <path> // 显示目录中所有文件大小 -count[-q] <path> // 显示目录中文件数量 -mv <src> <dst> // 移动多个文件到目标目录 -cp <src> <dst> // 复制多个文件到目标目录 -rm(r) // 删除文件（夹） -mkdir ...
基于Hadoop的视频转码系统，首先视频在本地进行分割成64M左右大小，然后从本地文件夹中上传到HDFS中.zip
03-13
人工智能-hadoop
这是一个基于Hadoop的视频转码系统，首先视频在本地进行分割成64M左右大小，然后从本地文件夹中上传到HDFS中+源代码+文档
12-16
这是一个基于Hadoop的视频转码系统，首先视频在本地进行分割成64M左右大小，然后从本地文件夹中上传到HDFS中，然后启动一个MapReduce作业，每一个Map作业下载一个视频到本地，进行转码到在上传到HDFS中，没有reduce...
【Spark2运算效率】第五节 影响生产集群运算效率的原因之小文件
01-07
，首先可以通过查询命令（hadoop dfs -count 路径）来查看路径目录下文件夹数目、文件数目及文件总大小（博主曾分享过相关的自动化脚本，有需要的可以去看看，很容易上手【小工具】 hdfs路径信息获取程序），具体可...
shell命令查询hdfs某路径下某种类型的文件大小
shenmingyue_xy的博客
10-18 249
仅显示HDFS根目录大小。即各文件和文件夹大小之和。#以最大单位显示HDFS根目录中各文件和文件夹大小。/user/$user : hdfs 文件路径。#显示HDFS根目录中各文件和文件夹大小。获取逻辑空间文件/目录大小 du。#使用正则表达式-E 选项。
如何查看hdfs上有哪些文件和路径
08-05
### 回答1： 您可以使用以下命令来查看HDFS上的文件和路径： - 查看根目录及其子目录：`hdfs dfs -ls /` - 查看指定目录及其子目录：`hdfs dfs -ls /path/to/directory` - 查看指定文件的信息：`hdfs dfs -ls /path/to/file` 其中，`-ls`选项用于列出目录或文件的详细信息，包括权限、拥有者、大小、修改日期等。如果您只想查看文件或目录的名称，可以使用`-ls`选项和`awk`命令来提取出名称信息： - 查看根目录及其子目录的名称：`hdfs dfs -ls / | awk '{print $NF}'` - 查看指定目录及其子目录的名称：`hdfs dfs -ls /path/to/directory | awk '{print $NF}'` - 查看指定文件的名称：`hdfs dfs -ls /path/to/file | awk '{print $NF}'` ### 回答2： 要查看HDFS上有哪些文件和路径，可以使用以下几种方法： 1. Hadoop命令行界面（CLI）：在命令行中输入`hadoop fs -ls /`，其中`/`是根目录，可以替换为其他目录路径。这将显示出该目录下的所有文件和子目录。 2. Hadoop Web浏览器界面：打开Hadoop集群的Web界面，通常为`http://<Hadoop集群的主机名>:<端口号>`。在界面中导航到文件浏览器（File Browser）或文件管理器（File Manager），即可显示HDFS上的文件和路径。 3. Hadoop API：可以使用Hadoop提供的Java API来编写程序，实现查询HDFS上的文件和路径。具体可以使用`FileSystem`类的`listStatus()`方法来获取指定路径下的文件和目录的详细信息。 示例代码如下： ``` import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.Path; public class HdfsFileViewer { public static void main(String[] args) { Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); FileStatus[] status = fs.listStatus(new Path("/")); for (FileStatus file : status) { System.out.println(file.getPath()); } } catch (Exception e) { e.printStackTrace(); } } } ``` 以上是三种常用的方法，根据实际需要选择其中一种或多种方法来查看HDFS上的文件和路径。 ### 回答3： 要查看HDFS上的文件和路径，可以使用以下几种方法： 1. 使用Hadoop命令行界面： 在Hadoop安装目录下的bin文件夹中，使用命令`hadoop fs -ls /`可以列出根目录下的所有文件和文件夹。使用`hadoop fs -ls /path`可以列出指定路径下的所有文件和文件夹。 2. 使用Hadoop Web UI： 在Web浏览器中输入Hadoop集群的地址，并加上端口号，默认情况下为50070。然后选择“浏览文件系统”选项，在此界面上可以浏览和查看HDFS上的文件和文件夹，包括其路径和属性等信息。 3. 使用Hadoop文件浏览器： 在Web浏览器中输入Hadoop集群的地址，并加上端口号，默认情况下为50075。然后选择“文件浏览器”选项，可以在此界面上搜索、查看和操作HDFS上的文件和文件夹。 4. 使用HDFS Shell命令： 在Hadoop安装目录下的bin文件夹中，使用命令`hdfs dfs -ls /`可以列出根目录下的所有文件和文件夹。使用`hdfs dfs -ls /path`可以列出指定路径下的所有文件和文件夹。 无论使用哪种方法，都可以轻松地查看HDFS上的文件和路径。这些方法不仅适用于查看文件和路径，还可以用于搜索、复制、移动和删除等操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值