hdfs统计行数和统计文件大小

最新推荐文章于 2023-03-28 20:15:07 发布
最新推荐文章于 2023-03-28 20:15:07 发布
阅读量5w 收藏 12
点赞数 9
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingmu0803/article/details/41843369
版权

使用hdfs有时候需要统计文件行数和文件的大小

1.hdfs下载文件夹中多个文件

hadoop fs -get  /目录   目录


2.统计多个文件行数

hadoop fs -cat  /文件* | wc -l


3.统计文件大小

hadoop fs -count /文件*


统计单个文件  只需要精确到文件即可  

青木德林
关注
  • 9
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
zhengzaifeidelushang的博客
11-23 1408
统计HDFS路径上文件大小、查看文件内容、匹配特定文件内容、根据多个条件匹配文件
支持小型文件的HDFS系统.zip
最新发布
10-10
支持小型文件的HDFS系统.zip 支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip
Hadoop分布式文件系统HDFS介绍
01-30
HDFS是HadoopDistributeFileSystem的简称，也就是Hadoop分布式文件系统。1、硬件错误是常态错误检测并快速自动恢复是HDFS的最核心设计目标2、存储超大文件HDFS适合大量存储，总存储量可以达到的PB、EB级HDFS适合大文件，单个文件一般在百MB级以上文件数目适中3、流式数据访问，最高效的访问模式是一次写入、多次读取HDFS适合用于处理批量，而不适合随机定位访问HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时
HDFS读取实时写入的文件大小
自知而知天下
05-21 7853
1.用HDFS API写入数据，如何能够读到最新写入的数据？ 2.如果写操作一直在进行，但没关闭FileSystem fs，如何获取所写文件的当前大小。   想获取最新写入的数据，即使写操作一直没断一直没关闭fs，如何来做呢？ 用FSDataInputStream dis = fs.open(path);来做， 参考下面函数testRead函数的已注释部分。   如何获取实时的文件大小
统计HDFS文件数量,大小,以及在某范围大小的文件数量
mega-victor
11-14 1万+
统计HDFS文件数量大小，小于20M文件数量 hadoop fs -du -h / # 统计文件大小 hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径 hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息，过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文
hdfs查看各级目录文件的大小
热门推荐
u012562302的博客
10-24 4万+
1.hadoop dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hadoop dfs -ls -h也可以查看文件大小 但是当子文件目录过多时 统计的大小为0
Hadoop查看文件个数&文件大小&文件夹大小
practice
04-09 8143
一、表中文件个数： hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l 二、 显示前5行（如果文件个数是200个会刷屏） hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p 三、查看总文件夹大小 hdfs dfs -du -h -s /user/warehouse/ods.db/test_01 ...
统计HDFS目录下文件行数及文件大小
王义凯 的博客
10-31 8984
统计行数，统计文件大小，统计文件夹下所有文件/文件夹的大小:
java获取hdfs总大小_通过java api统计hive库下的所有表的文件个数、文件大小
weixin_35021207的博客
02-25 632
packagecom.my.hdfsopt;importjava.io.FileNotFoundException;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.FileSyst...
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
hdfs小文件合并
岁月静好，做自己。
10-13 4010
hdfs小文件合并
HDFS分布式文件系统
02-24
文件系统定义：文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易。文件名：在文件系统中，文件名是用于定位存储位置。元数据（Metadata）：保存文件属性的数据，如文件名，文件长度，文件...
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
HDFS API 操作(Scala&Java版本)
向热爱自己一样，热爱这个世界。
03-28 401
HDFS API 操作(Scala&Java版本)
Hadoop 常用查看文件的命令
qq_34905853的博客
07-03 1万+
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /test/gong...
HDFS剩余空间大小的Java接口,java api获取hdfs索引大小
weixin_29947319的博客
03-13 516
java api获取hdfs目录大小1. hadoop fs -dus 的源码：public static void dus(String src,Configuration conf) throws IOException {Path srcPath = new Path(src);FileSystem srcFs = srcPath.getFileSystem(conf);FileStatus...
HDFS查看文件的行数-前几行-后几行
weixin_47681855的博客
07-27 3739
查看文本行数 hadoop fs -cat hdfs://172.168.0.11:8020/test/says_dict/sysdict_type.data |wc -l 查看文件大小(单位byte) hadoop fs -du hdfs://172.168.0.11:8020/test/says_dict/* hadoop fs -count hdfs://172.168.0.11:8020/test/says_dict/* 随机返回指定行数的样本数据 hadoop fs -cat /test/.
HDFS查看文件大小以及统计 总和
感谢你的关注~~~~ღ( ´･ᴗ･` )
05-19 9415
查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..
java统计hdfs上多个文件行数
06-13
您可以使用Hadoop的MapReduce框架来统计HDFS上多个文件的行数。以下是一个示例Java代码，它使用MapReduce框架来计算多个文件的总行数： ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class LineCounter { public static class LineCounterMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context ) throws IOException, InterruptedException { word.set("lines"); context.write(word, one); } } public static class LineCounterReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "line count"); job.setJarByClass(LineCounter.class); job.setMapperClass(LineCounterMapper.class); job.setCombinerClass(LineCounterReducer.class); job.setReducerClass(LineCounterReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); for (int i = 0; i < args.length - 1; ++i) { FileInputFormat.addInputPath(job, new Path(args[i])); } FileOutputFormat.setOutputPath(job, new Path(args[args.length - 1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 您可以在命令行中使用以下命令来运行此代码： ``` hadoop jar linecounter.jar input1 input2 input3 output ``` 其中，`input1`、`input2`和`input3`是要计算行数的文件，`output`是输出目录。运行后，输出目录中将包含一个名为`part-r-00000`的文件，其中包含所有文件的总行数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值