hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法

hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

以下是我的使用hadoop fs -du统计文件时使用的记录：

[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui

// :: INFO hdfs.PeerCache: SocketCache disabled.

Found items

-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000000_0

-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000001_0

-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000002_0

-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000003_0

-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000004_0

-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000005_0

...

[t@dv00938 ~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01

// :: INFO hdfs.PeerCache: SocketCache disabled.

/t_user/my_hive_db/my_hive_table_test01/000000_0

/t_user/my_hive_db/my_hive_table_test01/000001_0

/t_user/my_hive_db/my_hive_table_test01/000002_0

/t_user/my_hive_db/my_hive_table_test01/000003_0

/t_user/my_hive_db/my_hive_table_test01/000004_0

/t_user/my_hive_db/my_hive_table_test01/000005_0

...

[t@dv00938 ~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01

// :: INFO hdfs.PeerCache: SocketCache disabled.

269.1 M /t_user/my_hive_db/my_hive_table_test01/000000_0

268.4 M /t_user/my_hive_db/my_hive_table_test01/000001_0

268.0 M /t_user/my_hive_db/my_hive_table_test01/000002_0

267.8 M /t_user/my_hive_db/my_hive_table_test01/000003_0

267.4 M /t_user/my_hive_db/my_hive_table_test01/000004_0

266.8 M /t_user/my_hive_db/my_hive_table_test01/000005_0

...

[t@dv00938 ~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01

// :: INFO hdfs.PeerCache: SocketCache disabled.

/t_user/my_hive_db/my_hive_table_test01

[t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01

// :: INFO hdfs.PeerCache: SocketCache disabled.

27.9 G /t_user/my_hive_db/my_hive_table_test01

hadoop fs -count

[dx@d- conf]$ hadoop fs -count /user/dx/

/user/dx

[dx@d- conf]$ hadoop fs -count /user/dx/*

12 4 45844 /user/dx/.Trash

15 502 2382220393 /user/dx/.sparkStaging

1 2 28116579 /user/dx/base_data

45212 109771 23930279854 /user/dx/streaming

hadoop fs:du & count统计hdfs文件(目录下文件)大小的用法

hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 以下是我的使用hadoop fs -du统计文 ...

linux 系统统计目录下文件夹的大小

du -ah --max-depth=1     这个是我想要的结果  a表示显示目录下所有的文件和文件夹(不含子目录),h表示以人类能看懂的方式,max-depth表示目录的深度. du命令用来查看 ...

Linux上统计文件夹下文件个数以及目录个数

对于linux终端用户而言,统计文件夹下文件的多少是经常要做的操作,于我而言,我会经常在谷歌搜索一个命令,“如何在linux统计文件夹的个数”,然后点击自己想要的答案,但是有时候不知道统计文件夹命令运 ...

linux 统计命令执行后的行数或者统计目录下文件数目

ls |wc 是统计你这个目录下的文件数目.ls |wc -l是输出第一个结果即31即文件的数目.

Linux 统计文件夹下文件个数及目录个数

1. 统计文件夹下文件的个数 ls -l | grep "^-" | wc -l 2.统计文件夹下目录的个数 ls -l | grep "^d" | wc -l ...

Linux中/proc目录下文件详解

转载于:http://blog.chinaunix.net/uid-10449864-id-2956854.html Linux中/proc目录下文件详解(一)/proc文件系统下的多种文件提供的系统 ...

Linux中/proc目录下文件详解(转贴)

转载:http://www.sudu.cn/info/index.php?op=article&id=302529   Linux中/proc目录下文件详解(一) 声明:可以自由转载本文, ...

Centos-显示目录或者目录下文件信息-ls

ls 显示指定目录信息或指定目录下文件和目录信息,后边不跟文件目录路径信息默认为当前工作目录 默认显示输出信息的总行数统计数 相关参数 -a 显示所有文件或子目录,包含隐藏文档 # linux中以 . ...

Linux统计某文件夹下文件、文件夹的个数

统计某文件夹下文件的个数 ls -l |grep "^-"|wc -l 统计某文件夹下目录的个数 ls -l |grep "^d"|wc -l 统计文件夹下文件 ...

随机推荐

Hadoop集群datanode磁盘不均衡的解决方案

一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

【processing】小代码3

鼠标响应: mouseX, mouseY 鼠标的坐标 ---------------------------------------------- void setup() { size(,); sm ...

Ubuntu mysql

To install mysql database in the ubuntu:    1. sudo apt-get install mysql-server 2. apt-get isntall ...

Sublime Text的使用代码块安装的模块

在众多的开发工具IDE当中.作者现在唯独深爱sublime text(以下简称st).以前做后台开发使用visual studio(以下简称vs),以及实行前后端分工也是配合后台使用vs.这里要讲述两 ...

.net截取指定长度汉字超出部分以指定的字符代替

下面是我在网上搜索,然后加以整理的关于在.net中截取指定长度汉字超出部分以指定的字符代替,来拓展一下自己的思路. 方法一 :在后台的select语句中直接操作或是在数据库中写一个存储过程 Selec ...

android 常用颜色

reference: http://blog.csdn.net/leewenjin/article/details/17386265

2017-2018-1 1623 bug终结者 冲刺006

bug终结者 冲刺006 by 20162328 蔡文琛 今日任务:音频素材添加 又是新的一天,小组项目有了很大的起色,已经可以在手机上试玩了. 添加背景音乐能使我们的游戏锦上添花. 音频资源需求 需 ...

phpstorm 配置git上传代码到 码云

方法一: 1.安装git,一路next下去. git安装完自带右键菜单 2.看一下phpstorm里的路径是否正确. 3.使用phpstorm管理代码库 新建,从码云上已有的公开项目克隆一份到本地: ...

MySQL更改relay-bin名称导致同步停止的解决办法

今天在优化io的时候,移动了从库relay-bin的位置,并将hostname部分去掉了,启动后,从库slave状态如下: mysql> show slave status\G; ******* ...