查看hadoop下文件列表并按日期排序

已于 2023-09-13 13:34:20 修改
阅读量403 收藏 1
点赞数
文章标签： hadoop
于 2023-09-13 11:24:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26645205/article/details/132848791
版权

查看hadoop下文件列表并按日期排序

hadoop fs -ls 目录| sort -r -k6,7

按大小排序

hadoop fs -ls 目录| sort -nr -k5

-n 数值类型排序 -r 指定为倒序 -k 指定排序字段所在的列

如du指定了-h，进行排序时需将-n改为-h

hdfs fs -du输出size信息中数字和单位间存在空格，所以sort -k1其实只取了数字那一列

hadoop fs -du -h 目录 | egrep -v '^0' | sed 's/\([0-9.]\)\( \)\(.*\)/\1\3/g' | sort -rhk1
小亚文
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【博学谷学习记录】超强总结，用心分享| 从HDFS上读取文件并实现排序
我爱骑呆马的专栏
01-22 314
spark基础
HDFS ls查看文件命令按照时间排序(sort by time)
JacksonKing的专栏
08-29 1万+
　　我们在使用HDFSShell的时候只用最频繁的命令可能就是ls了，其具体含义我就不介绍了。在使用ls的命令时，我们可能想对展示出来的文件按照修改时间排序，也就是最近修改的文件(most recent)显示在最前面。如果你使用的是Hadoop2.8.0以下版本，内置是不支持按照时间等属性排序的。不过值得高兴的是，我们可以结合Shell命令来实现按照文件最近修改的时间对ls命...
ls实现列文件按时间排序 .
brittany2009的博客
03-19 310
1) ls -lt  时间最近的在前面   2) ls -ltr 时间从前到后
Hadoop的顺序文件—— Hadoop权威指南9
lucyLee的博客
05-02 494
《Hadoop权威指南》的5.4节，讲述了一些二进制文件格式：顺序文件（SequenceFile）、MapFile、Avro等 自己也没有特别大的体会，只能暂时先记录学到的一些知识 1. 顺序文件 —— SequenceFile 考虑日志文件，每一行代表一条日志记录。 Hadoop的SequenceFile，支持二进制key-value对的持久化存储，适合用作日志文件的存储。 因为你可以使用IntWritable类型的时间戳，作为日志记录的key；使用Writable类型的数据，作为日志记录的valu.
linux 按照时间倒序或者升序显示文件列表
Ruishine的博客
10-13 2354
在使用Linux时，经常会有按照时间顺序排列文件的需求。
Hadoop按日期统计访问次数及测试数据
04-10
本篇将深入探讨如何利用Hadoop按日期统计访问次数，并结合测试数据进行实战解析。 首先，Hadoop的数据处理通常涉及日志分析，例如网站访问日志。这些日志记录了用户的访问行为，包括访问时间、页面、IP地址等信息。...
hadoop简单示例源码
12-28
3. **排序与分区**：经过map阶段后，数据会被按照键（年份）进行排序，并分配到不同的reduce任务中。这一步是MapReduce的关键部分，确保同一键的数据被送到同一个reducer。 4. **Reduce阶段**：`reduce()`函数接收...
Hadoop应用开发大作业.docx
03-09
平均气温的计算则借助`combineByKey()`来合并相同键的值，随后使用`map()`和`sortBy()`分别进行平均值计算和按年月排序。最后，通过`filter()`和`startsWith()`函数筛选出15-25度的气温数据，并按照年份分别存储到三...
基于 Hadoop 平台，使用 MapReduce 编程，统计NBA球员五项数据.zip
最新发布
03-13
Hadoop 包括 HDFS（Hadoop Distributed File System），这是一个分布式文件系统，用于存储大量数据；以及 YARN（Yet Another Resource Negotiator），它是资源管理和调度器，确保集群中的任务得到适当分配。在 ...
云计算大作业使用Hadoop对美国新冠肺炎疫情数据分析项目.zip
06-12
对实验1的结果按累计确诊人数进行倒序排序。（重写排序规则） 对实验1的结果再运算，统计截止指定日期，全美各州的病死率。病死率 = 死亡数/确诊数。 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date...
hadoop fs 命令大全（解析和例子）
weixin_46416699的博客
12-08 1万+
hadoop fs [generic options] hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录 --------------------------------------------------------------------------------------- [-appendToFile <localsrc> ... <dst>] 将本地文件的内容追加到给定的dst文件。 hadoop fs -appendTo...
linux磁盘文件排序 hdfs文件大小排序 sed正则匹配
sinat_25207217的博客
04-09 4096
linux下文件大小排序 hdfs文件系统中的文件大小排序 文章目录前言一、本地磁盘文件排序二、hdfs文件排序总结 前言 在工作和学习中，我们经常需要做一些简单的运维工作，其中最为典型的就是磁盘空间管理。这其中用到最最多的就是获取文件占用的空间，并进行排序。 针对本地磁盘文件的排序很简单，但是针对hdfs文件需要借助一些shell命令进行辅助处理。 一、本地磁盘文件排序 1. sort常用参数 SYNOPSIS du [OPTION]... [FILE]... OPTION .
Hadoop命令hadoop fs -ls详解
热门推荐
cacasi2568的专栏
07-15 1万+
Hadoop有提供一些脚本命令，以便于我们对HDFS进行管理，可以通过命令hadoop fs进行查看： 通过以上使用说明可以发现，里面提供了大多数和我们在本地操作文件系统相类似的命令，例如，cat查看文件内容，chgrp改变用户群组权限，chmod改变用户权限，chown改变用户拥有者权限，还有创建目录，查看目录，移动文件，重命名等等。 hadoop fs -ls 这里，我们来看看命令hadoop fs -ls： 这个命令大家肯定非常熟悉，在Linux下使用超级频繁，功能就是列出指定目录下的文件及文件
HDFS操作常用的Shell命令；
MP-214的博客
11-14 1668
向HDFS中上传任意本地文件 hadoop fs -copyFromLocal URI -f 如果文件存在，则覆盖 从本地文件系统考贝到集群上 向一个已经存在的HDFS中的文本文件中，追加本地文件的内容到HDFS原有文件末尾 hadoop fs -appendToFile … 将一个本地文件系统的源文件或多个源文件追加到目标文件系统 从HDFS中下载指定文件 hadoop fs ...
ls命令按时间排序
nb1253587023的博客
10-06 1424
p -F 在每个文件名后附上一个字符以说明该文件的类型，“*”表示可执行的普通文件；-X 以文件的扩展名(最后一个 . 后的字符)排序。-c 输出文件的 i 节点的修改时间，并以此排序。-d 将目录象文件一样显示，而不是显示其下的文件。-e 输出时间的全部信息，而不是输出简略信息。-k 以 k 字节的形式表示文件的大小。-L 列出链接文件名而不是链接到的文件。-f -U 对输出的文件不排序。-i 输出文件的 i 节点的索引信息。-s 在每个文件名后输出该文件的大小。-B 不输出以 “~”结尾的备份文件。
hadoop fs常用命令
weixin_42264992的博客
06-14 5909
hdfs常用命令
Hadoop中的各种排序
m0_67393686的博客
09-06 909
可以看到，这本身就是一个二次排序。shuffle排序综述：如果只定义了map函数，没有定义reduce函数，那么输入数据经过shuffle的排序后，结果为key值相同的输出挨在一起，且key值小的一定在前面，这样整体来看key值有序（宏观意义的，不一定是按从大到小，因为如果采用默认的HashPartitioner，则key 的hash值相等的在一个分区，如果key为IntWritable的话，每个分区内的key会排序好的），而每个key对应的value不是有序的。对于任意一个特殊的键，然而，值是不排序的。
分享一个查看Hdfs目录下文件大小的脚本，支持排序
chichuduxing的博客
04-03 5897
#!/bin/bash ################## #@author: chichuduxing #@date: 20161011 ################## ##加载Hadoop环境变量 ##略过 function showhelp() { echo "###################################!!! you must input at le
【大数据】hadoop环境下如何将某文件夹下的文件按大小排序---顺序(查看某文件夹下最大的文件名)
debimeng
03-28 5537
hadoop环境下如何将某文件夹下的文件按大小排序---顺序(查看某文件夹下最大的文件名) 场景： 因平时经常需要知道hadoop文件系统里最大的文件有哪几个，故特此查找了一下命令。 解决： hadoop版本：2.9.2(版本需要特别注意，因为低版本的有可能还没有那么多功能) 查看-ls的使用方法：hadoop fs -ls --helpUsage: hadoop fs [generic ...
使用Java用Hadoop MapReduce按年份分区
05-23
要按年份分区，可以使用自定义Partitioner类来实现。以下是一个例子，假设您有一个输入文件，其中每行包含一个日期和一些数据： ``` 2019-01-01 10 2018-12-31 20 2019-02-01 30 ``` 您需要将此数据按照年份分区，并且每个分区的数据都应该按照日期排序。为此，您可以编写以下Partitioner类： ```java import org.apache.hadoop.mapreduce.Partitioner; public class YearPartitioner extends Partitioner<Text, IntWritable> { @Override public int getPartition(Text key, IntWritable value, int numPartitions) { String year = key.toString().substring(0, 4); return Integer.parseInt(year) % numPartitions; } } ``` 这个Partitioner类会从键中提取年份，并将其用作分区键。这样，相同年份的数据都会被分配到相同的分区中。在这里，我们使用了numPartitions参数，该参数由Hadoop运行时环境传递，表示总分区数。这意味着，如果您的集群有10个节点，那么您会得到10个分区。 为了确保每个分区内的数据按照日期排序，您可以在Mapper中对键进行排序： ```java import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class YearMapper extends Mapper<Object, Text, Text, IntWritable> { private Text year = new Text(); private IntWritable data = new IntWritable(); @Override public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] parts = value.toString().split(" "); year.set(parts[0]); data.set(Integer.parseInt(parts[1])); context.write(year, data); } } ``` 在这个Mapper中，我们将键设置为日期，值设置为数据。这样，对于相同年份的数据，它们会按照日期排序。最后，我们将分区键和数据写入输出。 接下来，您需要在Job中设置Partitioner类： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class YearJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "year partitioning"); job.setJarByClass(YearJob.class); job.setMapperClass(YearMapper.class); job.setPartitionerClass(YearPartitioner.class); job.setNumReduceTasks(4); // set the number of reducers job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在这个Job中，我们设置了Partitioner类，并将其设置为使用4个reduce任务。这意味着，我们将得到4个输出文件，每个文件包含一个分区的数据。最后，我们运行Job并等待它完成。 以上就是按年份分区的MapReduce程序的实现方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值