查看hadoop目录下文件大小

最新推荐文章于 2024-04-28 08:37:56 发布
最新推荐文章于 2024-04-28 08:37:56 发布
阅读量1.4k 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangqiaowqo/article/details/84741762
版权 

17:12 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -s /source/ent/laifeng/generalbusiness
79298026603  /source/ent/laifeng/generalbusiness
tty:[14] jobs:[0] cwd:[~]
17:12 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -h /source/ent/laifeng/generalbusiness
23.9 M   /source/ent/laifeng/generalbusiness/20140917
22.2 M   /source/ent/laifeng/generalbusiness/20140918
19.4 M   /source/ent/laifeng/generalbusiness/20140919
17.5 M   /source/ent/laifeng/generalbusiness/20140920
17.6 M   /source/ent/laifeng/generalbusiness/20140921
17:17 [yule@a002.client.hadoop.qingdao.youku]$ hadoop fs -du -s -h /source/ent/laifeng/generalbusiness
73.9 G  /source/ent/laifeng/generalbusiness



hadoop fs -du -h /warehouse/hive/warehouse/

38.1 T /warehouse/hive/warehouse/ent.db
wangqiaowqo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs中的tmp文件夹_0521-Hadoop命令无法访问HDFS路径诡异问题解决
weixin_36202642的博客
01-31 968
1.诡异现象Fayson今天在集群中浏览HDFS数据目录时发现，通过Cloudera Manager的“文件浏览”功能可以正常的浏览某一个HDFS数据目录，如下显示：但Fayson在脚本或命令行操作该数据目录时又提示“/tmp/guiyi/123: No such file or directory”，异常如下：2.问题分析在Cloudera Manager上可以正常的浏览该数据目录，但在命令行无...
hadoop查看文件大小
weixin_30470857的博客
04-07 1983
hadoop fs -du /yj/input/ 列出input下所有文件的大小，以B为单位 #!/bin/sh #echo "hadoop fs -du /" hadoop fs -du /|awk '{ print $1/1000000; }' 以分别以B,KB,M,G显示 #!/bin/sh #echo "hadoop fs -du /" hadoop fs -du /|...
hadoop命令
最新发布
2301_77836489的博客
04-28 443
hadoop命令
hadoop 修改hadoop tmp目录
weixin_33775582的博客
06-03 999
mkdir hadoop_tmp_data   修改core-site.xml中的tmp目录为/home/hadoop/data0/hadoop_tmp_data /home/hadoop/data0/hadoop_tmp_data ./hadoop-daemon.sh stop datanode ./hadoop-daemon.sh stop tasktracker ./hadoop...
hdfs中的tmp文件夹_0521Hadoop命令无法访问HDFS路径诡异问题解决
weixin_31766003的博客
01-31 603
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1诡异现象Fayson今天在集群中浏览HDFS数据目录时发现，通过Cloudera Manager的“文件浏览”功能可以正常的浏览某一个HDFS数据目录，如下显示：但...
配置hadoop.tmp.dir 目录
热门推荐
bluetropic的专栏
07-26 3万+
感谢原有发帖人，内容来源：http://f.dataguru.cn/thread-23704-1-1.html HADOOP 配置HADDOP.TMP.DIR 注意 先说说,场景,在开发环境中,由于意外断电.重新启动HADOOP MASTER 结点.启动HADOOP START-ALL.SH grid$ start-all.sh 查看http:\\hdnode1m:50070\ 无法打开网页
hadoop的默认配置文件
08-12
1. **hdfs-default.xml**：这是Hadoop分布式文件系统的默认配置文件。它包含了HDFS的各种配置参数，如命名节点（NameNode）和数据节点（DataNode）的设置、副本数量、块大小、安全模式、文件权限等。例如，`dfs....
hadoop config 配置文件
11-09
Hadoop的配置主要通过XML文件进行，这些文件位于`$HADOOP_CONF_DIR`目录下，通常包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml` 和 `mapred-site.xml`。这些文件分别对应Hadoop的核心、HDFS（Hadoop分布式...
Hadoop3.1.3 配置文件
01-15
除了这些核心配置文件，还有一些特定场景下的配置，例如`slaves`文件列出集群中的所有工作节点，以及`masters`文件列出NameNode和ResourceManager的角色节点。此外，还可以通过`hadoop-env.sh`和`yarn-env.sh`来设置...
Hadoop默认的配置文件
09-07
Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，它们各自都有自己的默认配置文件，这些配置文件是Hadoop运行时的重要组成部分。在你提到的压缩包文件中，我们能看到四个主要的默认配置...
Hadoop默认配置文件
09-07
1. **文件系统**：定义了Hadoop默认的文件系统（如hdfs://localhost:9000），以及文件操作的缓冲区大小、文件权限等。 2. **日志管理**：配置日志级别、日志路径和日志聚合策略。 3. **命名空间**：包括Hadoop元数据...
Hadoop 大量小文件问题及解决方案
SmartSi
12-25 2万+
1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them (otherwise you wouldn’t turn to Hadoop)），这样
hdfs目录上/tmp/hive空间资源过大问题
u013176920的博客
11-14 1133
我理解您想知道HDFS上tmp/hive空间资源占用过大的原因，有没有什么清理机制？ Hive的临时目录是用来存放不同阶段的map/reduce任务的执行计划和中间结果的，如果Hive任务成功完成的话，临时文件会被自动清理，如果Hive任务被取消或者中断，那么这个任务的临时文件就会被遗留下来。 您可以手动删除这些旧文件，但不要删除任务还未完成的临时文件。您也可以通过 cron job来定期删除...
hadoop磁盘空间满的异常
大数据训练营
09-01 1万+
本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。 起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！ 下面散仙模拟当时的环境，接到问题后，第一件事就是先查看centos系统的磁盘使用率 执行命令
hadoop修改hadoop.tmp.dir
sunrising_hill的专栏
01-16 8008
hadoop.tmp.dir的目录默认指向的是：/tmp/hadoop-${USERNAME} 这样会有个问题，系统重启时会自动删除/tmp目录下的文件，导致你之前对hadoop做的很多 操作都被删除了，需要重新再来，比如你想hdfs导入的文件会都被删除。 这是你需要修改 ${hadoop_home}/etc/hadoop/core-site.xml文件，添加一个名字为"hadoop.tmp
hadoop之理解tmp目录下的文件
weixin_40645193的博客
10-08 4138
1)修改tmp路径 解决办法将原来name copy /home/crx/tmp (这个路径是之前在HADOOP_HOME/etc/hadoop/core-site.xml 中name标签下配置的路径） (修改目录后，新目录是没有之前的数据的。但之前的目录依旧存在，所以需要将之前目录里的东西拷贝到 新目录里） 2)不删除tmp目录， 直接格式化 格式化HDFS namenode $>hdfs namenode -format (格式化namenode 会为namenode重新生成一个clusterID
【大数据】hadoop查看指定目录最大的五个文件(文件夹算总体的一个文件)
debimeng
03-31 1323
hadoop查看指定目录最大的五个文件(文件夹算总体的一个文件) 场景： 在hadoop不同版本多次尝试查看最大的几个文件后总结出最终版本。 解决： 系统 CentOS7.6 [hadoop@hd hadoop]$ hadoop fs -du / | sort -nr | head -n 5 --查看/目录下最大的五个文件，其中mmtst为文件...
Hadoop集群连接报错（以及tmp目录的设置）
yhblog的博客
11-12 2117
问题： 经过查找，解决办法： 查看集群是否启动？： 集群关闭常出现在学习过程中，因为每天我们需要电脑关机，当我们的物理机关闭后，那么虚拟机里面的集群也会随之关闭，在我们下次使用集群前输入命令就会报错，所以我们需要重新启动namenode和datanode 注：第一次格式化namanode后，不要总是每次启动后就格式化namenode。最好直接启动namenode和datanode。 ...
查看Hadoop文件大小
08-11
要查看Hadoop文件大小，可以使用以下命令：hadoop fs -du -s -h [1。其中，-s是可选参数，用来显示文件大小的总和，而-h是可选参数，用来选择合适的单位（KB,MB,GB,TB）显示文件大小。如果不加-s参数，将显示各个文件的大小。12 #### 引用[.reference_title] - *1* *2* [hadoop文件查询指令](https://blog.csdn.net/fangfanglovezhou/article/details/112305537)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值