hadoop之mapreduce完成对用户访问网站日期统计

最新推荐文章于 2024-04-17 11:51:06 发布

q35445762

最新推荐文章于 2024-04-17 11:51:06 发布

阅读量2.3k

点赞数 3

本文链接：https://blog.csdn.net/q35445762/article/details/92383934

版权

本文介绍如何利用Hadoop MapReduce处理用户访问网站的日期数据。首先，数据文件user_webAccess.txt以特定格式存储用户访问信息。接着，编写DailyAccessCount类进行数据处理。然后，将Java代码打包成jar文件，并通过HDFS上传数据文件和jar到指定路径。最后，执行MapReduce任务，分析结果存储在/park08/output目录下。

摘要由CSDN通过智能技术生成

1.数据文件 user_webAccess.txt 格式如下：

jim,2019-09-12
tom,2019-03-03
ross,2019-05-06
pis,2019-12-08
oax,2019-11-05
jim,2019-09-13
tom,2019-03-04
ross,2019-05-07
pis,2019-12-09
oax,2019-11-06
jima,2019-09-13
toma,2019-03-04
rossa,2019-05-07
pisa,2019-12-09
oaxa,2019-11-06
jimab,2019-09-13
tomab,2019-03-04
rossab,2019-05-07
pisab,2019-12-09
oaxa,2019-11-06

2.编写DailyAccessCount类代码

package helloWorldMapReduce;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.examples.WordCount;
import org.apache.hadoop.examples.WordCount.IntSumReducer;
import org.apache.hadoop.examples.WordCount.TokenizerMapper;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
im