MapReduce基础编程之按日期统计及按日期排序

已于 2023-06-21 21:34:54 修改
阅读量1.7k 收藏 26
点赞数 4
分类专栏： 大数据项目实战 大数据 文章标签： mapreduce hadoop big data
于 2022-05-17 21:59:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shaock2018/article/details/124829518
版权

大家好，我是邵奈一，一个不务正业的程序猿、正儿八经的斜杠青年。
1、世人称我为：被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员…
2、这几年，我整理了很多IT技术相关的教程给大家，爱生活、爱分享。
3、如果您觉得文章有用，请收藏，转发，评论，并关注我，谢谢！
博客导航跳转（请收藏）：邵奈一的技术博客导航
| 公众号 | 微信 | CSDN | 掘金 | 51CTO | 简书 | 微博 |

教程目录

0x00 教程内容

  1. 项目准备
  2. 编写代码
  3. 运行代码并观察结果

0x01 项目准备

1. 新建Maven项目

（1）新建项目
在这里插入图片描述
（2）引入Hadoop相关的Jar包

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>2.7.5</version>
</dependency>

（3）将数据拷贝到项目中
数据示例：

Nehru,2016-01-01
Dane,2016-01-01
Walter,2016-01-01
Gloria,2016-01-01
Clarke,2016-01-01
Madeline,2016-01-01
Kevyn,2016-01-01

在这里插入图片描述
数据说明：
1、文件名是： user_login.txt
2、字段只有两个，一个是 名字 、一个是 登录的日期
3、分隔符是 ， 号

2. 需求说明

（1）需求1：按日期进行统计，其实就是统计某一天，一共有多少人登录
（2）需求2：按访问次数进行排序，其实就是按每天登录人数的低到高进行排序

0x02 编写代码

1. 需求1：按日期进行统计

完整代码如下：

package com.shaonaiyi.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class dailyAccessCount {

    public static class MyMapper extends Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            // 按逗号进行分割
            String array[] = line.split(",");
            // 将日期作为key
            String keyOutput = array[1];
            // 输出格式：(日期, 1)
            context.write(new Text(keyOutput), one);
        }
    }

    public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

        // 定义统计结果result
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            // 定义累加器，初始值为0
            int sum = 0;
            // 遍历将map传递过来的相同日期所对应的1进行累加
            for (IntWritable val : values) {
                sum += val.get();
            }
            // 给统计结果result设值
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        // 获取命令行参数中剩余的参数
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length < 2) {
            // 参数小于2个时报错并提示内容
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
        Job job = new Job(conf, "Daily Access Count");
        job.setJarByClass(dailyAccessCount.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job,
                new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

重点代码讲解： String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

此行代码简单理解为获取命令行参数中剩余的参数，并将它们存储在一个字符串数组(String[])中。

详细解释如下：

new GenericOptionsParser(conf, args) :创建一个GenericOptionsParser对象，用于解析命令行参数。conf是一个Configuration对象，用于存储配置信息；args是一个字符串数组，包含用户输入的命令行参数。

getRemainingArgs() :调用GenericOptionsParser对象的getRemainingArgs()方法，获取剩余的命令行参数，并将它们存储在otherArgs数组中。

2. 需求2：按访问次数进行排序

完整代码如下：

package com.shaonaiyi.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class accessTimesSort {

    public static class MyMapper extends Mapper<Object, Text, IntWritable, Text> {

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

            String lines = value.toString();
            // 按tab键作为分隔符
            String array[] = lines.split("\t");
            // 将访问次数作为key
            int keyOutput = Integer.parseInt(array[1]);
            // 将日期作为value
            String valueOutput = array[0];
            context.write(new IntWritable(keyOutput), new Text(valueOutput));
        }
    }

    public static class MyReducer extends Reducer<IntWritable, Text, Text, IntWritable> {

        public void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            for (Text value : values) {
            	// 对于IntWritable类型的key，MapReduce会默认进行升序排序
                context.write(value, key);
            }
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
        Job job = new Job(conf, "Access Time Sort");
        job.setJarByClass(accessTimesSort.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);
        job.setMapOutputKeyClass(IntWritable.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

说明：
1、如果key为IntWritable类型，MapReduce会默认进行升序排序；
2、如果key为Text类型，MapReduce会默认按照字典顺序对字符串排序。

0x03 运行代码并观察结果

1. 需求1：按日期进行统计

（1）需求1传递参数
在这里插入图片描述
然后输入参数两个参数：
在这里插入图片描述
（2）结果
在这里插入图片描述
可以看到key为日期， 值为每天的访问次数。

2. 需求2：按日期进行排序

（1）需求1传递参数
在这里插入图片描述
（2）结果
在这里插入图片描述
可以看到key为日期， 值为每天的访问次数。但是，此处已经按找次数进行了升序排序。

0x04 彩蛋

1. 打包放到HDFS上去统计

（1）将数据放到HDFS的 / 路径
（2）将项目达成jar包，比如此处为 hadoop-1.0.jar
（3）执行命令
格式为：

hadoop jar xxx.jar main方法的类 统计的文件路径 输出结果的路径

执行命令为：

hadoop jar target/hadoop-1.0.jar com.shaonaiyi.mapreduce.dailyAccessCount /user_login.txt /output

统计结果其实已经有了：
在这里插入图片描述

0xFF 总结

  1. 本文章对MapReduce进行基础的学习
  2. 想要学习更多大数据相关内容，请关注我！

邵奈一 原创不易，如转载请标明出处，教育是一生的事业。

邵奈一
关注
  • 4
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop按日期统计访问次数及测试数据
04-10
Hadoop按日期统计访问次数代码实现，以及包含测试用的数据
3.MapReduce高级接口编程（partitioner、sort、combiner）
dream
03-01 683
Partitioner--分区 主要作用就是将map的结果发送到相应的reduce。 Partitioner组件可以让Map对Key进行分区，从而可以根据不同的key来分发到不同的reduce中去处理。 如果需要定制partitioner也需要继承该类。HashPartitioner是mapreduce的默认partitioner。计算方法是which reducer=(key.hash
MapReduce编程模型
阿松的博客
11-29 542
概述 MR分布式计算框架，应用场景有个共同特点：任务可被分解为相互独立的子问题。 所以MR编程模型的分布式编程方法，5步： 迭代：遍历输入数据，解析为kv对 映射：输入kv对映射为其他kv对 分组：根据key对中间数据进行分组（grouping） 归约：以组为单位对数据进行归约（reduce） 迭代：最终产生的kv对保存到输出文件中 MR API 基本概念 序列化：主要作用两个，永久存储和进程间通信。输入输出数据中的key和value都要是可序列化的，在Hadoop MapReduce中，使一个Ja
编程实现按访问次数排序
qq_59947103的博客
11-13 2101
1.编写Java accessTimesSort.java // Mapper模块 public static class MyMapper extends Mapper<Object, Text, IntWritable,Text>{ public void map(Object key, Text value, Context context) //map函数的编写要根据读取的文件内容和业务逻辑来写 ...
Django实现统计网站访问次数、访问 ip 、受访页面
菲宇运维
10-18 6426
想知道网站每天的访问量，都有哪些人访问，都是来自什么地方的访客，都访问了哪些端点。 编写 models.py # 访问网站的 ip 地址、端点和次数 class UserIP(models.Model): ip = models.CharField(verbose_name='IP 地址', max_length=30) ip_addr = models.CharField(...
Hadoop之MapReduce 根据用户流量日志文件数据统计每个用户流量总和
hantangduhey的博客
05-16 2058
文章目录1.实现需求2.MapReduce编程模型 1.实现需求 2.MapReduce编程模型 input 读取文件 splitting 分割文件，框架自动完成 mapping 处理文件，以key，value的方式存储 ，需要自己实现 shuffing 把相同的key归类到一起，框架自动完成 Reducing 处理相同的key的数据，需要自己实现 Final result 处理最后结果 ...
汇总同一时间段的数据_数据集干货：一文读懂Mapsidejoin
weixin_39765869的博客
01-09 108
我们知道数据分析的第一步是准备数据，所以在前面的课程里，我们介绍了元数据。今天这篇文章，主要介绍大数据量组合数据集在永洪中的应用实例：Mapsidejoin。什么是Mapsidejoin？按照字面意思，Mapsidejoin就是M—节点—组合 。在了解Mapsidejoin之前，首先我们要了解一下MapReduce模型以及产品的四个节点CNMR的作用，通过MapReduce模型中，Mapsidej...
MapReduce编程练习
qq_60317308的博客
11-12 2038
目录 编程实现按日期统计访问次数 2.编程实现按访问次数排序 获取成绩表最高分 编译jar'包方法 编程实现按日期统计访问次数 (1) 定义输入/输出格式 社交网站用户的访问日期在格式上属于文本格式，访问次数为整型数值格式。其组成的键值对为<访问日期，访问次数>，因此Mapper的输出与Reducer的输出都选用Text类与IntWritable类。 (2)Mapper 类的逻辑实现 ...
大数据技术基础实验报告-MapReduce编程.doc
08-21
大数据技术基础实验报告-MapReduce编程
大数据实验5实验报告：MapReduce 初级编程实践
06-20
MapReduce 初级编程实践 姓名: 实验环境：  操作系统：Linux（建议Ubuntu16.04）；  Hadoop版本：3.2.2； 实验内容与完成情况： （一）编程实现文件合并和去重操作 对于两个输入文件，即文件 A 和文件 B，请...
实验项目 MapReduce 编程
04-18
4 分别在自编 MapReduce 程序 WordCount 运行过程中和运行结束后查看 MapReduce Web 界面。 5. 分别在自编 MapReduce 程序 WordCount 运行过程中和运行结束后练习 MapReduce Shell 常用命令。 。。
08.mapreduce编程案例--流量统计求和--自定义数据类型.mp4
04-29
08.mapreduce编程案例--流量统计求和--自定义数据类型.mp4
大数据技术原理及应用课实验5 :MapReduce初级编程实践
最新发布
01-16
2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 二、实验平台 1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04） 2. Hadoop版本：3.1.3 三、实验步骤（每个步骤下均需...
编程实现Hadoop按日期统计访问次数
weixin_64420247的博客
03-28 1698
因为访问日期是数据文件中的第2列，所以先定义一个数组后，再提取第2个元素，与初始次数1一起构成要输出的键值对，即。数据总共有两列，第一列为用户名，第二列为登录的日期，想要统计每个自然日，也就是每一天的访问次数，可以转换为对日期值的词频统计，只要统计出每个日期出现的次数，就可以知道对应日期的日访问次数。通过统计日期的词频来统计每个自然日的访问次数，那么Map的输出就是，Reduce输出就是。以下为伪代码来编写Mapper的处理逻辑，代码如下。
编程实现按日期统计访问次数
qq_59947103的博客
11-13 2074
1.将日期统计的user_logn.txt文本准备好。 user_logn.txt文本： Nehru,2016-01-01 Dane,2016-01-01 Walter,2016-01-01 Gloria,2016-01-01 Clarke,2016-01-01 Madeline,2016-01-01 Kevyn,2016-01-01 Rebecca,2016-01-01 Calista,2016-01-01 Lana,2016-01-01 Phoebe,2016-01-01 Clayton,201..
Hadoop实战——MapReduce对英文单词文本进行统计和排序（超详细教学，算法分析）
小袁同学的博客
11-10 1万+
用IDEA编写MapReduce程序，生成Jar包，启动Hadoop，执行Jar包程序，在HDFS文件系统中查看单词统计和排序结果
大数据体系与技术hadoop实验
橙子的博客
01-08 564
社交网站上百万注册用户，网站服务器保留了用户登录网站的日志记录，即登录一次网站，日志文件就记录一次用户邮件地址，现有某一天的原始数据文件共800万行记录。编程实现按月输出保存数据，要求最终的输出结果根据月份分别保存到两个不同的文件中（2016年1月和2016年2月）。运营商要求定期货的用户在某天登录次数信息，作为用户行为分析基础数据，以制定有效的运营计划。编程实现按日期统计访问次数，要求获取每个自然日为单位的所有用户访问次数。的基础上将输出的value作为key。的基础上编程实现按访问次数排序。
编程实现按日期统计访问次数_基于图的代码统计语言模型
weixin_39829073的博客
12-06 403
摘要N-Gram统计语言模型在捕捉编程模式(programming pattern)、支持代码补全上面取得了很大成功。然而，使用该方法在捕捉高层次编程模式上面临很多挑战，因为源代码序列在N-gram不匹配不代表在语义或语法上的匹配。本文提出Gralan，一种基于图的统计语言模型并将它应用在代码推荐(code suggestion)上。Gralan能够从源代码数据集中学习并根据数据集中观察到的图计算...
VirtualBox安装教程及使用（Windows）
热门推荐
邵奈一的博客
12-30 7万+
virtualbox安装详解 VirtualBox＋CentOS7安装教程
mapreduce实现按日期统计访问次数
05-25
MapReduce 是一个分布式计算框架，用于处理大规模数据集。要按日期统计访问次数，可以采用以下步骤： 1. Map 阶段：将日志文件中的每一行数据作为输入，key 是日期，value 是 1。 2. Reduce 阶段：计算每个日期的访问次数，将相同日期的 value 值相加即可。 具体实现步骤如下： 1. 编写 Map 函数 ```java public class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] fields = line.split("\t"); String date = fields[0].substring(0, 10); // 获取日期 word.set(date); context.write(word, one); } } ``` 2. 编写 Reduce 函数 ```java public class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } ``` 3. 编写 Main 函数 ```java public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(Map.class); job.setCombinerClass(Reduce.class); job.setReducerClass(Reduce.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } ``` 4. 运行程序 将日志文件作为输入，运行程序，输出结果即为按日期统计的访问次数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值