【Day 3 电商日志数据分析1】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

随着电商的快速发展，越来越多的企业开始关注电商日志数据分析，以了解用户行为和需求，从而优化产品设计和营销策略，提升用户体验和销售效果。而其中一个重要的指标就是页面浏览量，即用户访问某个页面的次数。统计页面浏览量能够帮助企业了解用户对不同页面的兴趣程度和热度，从而调整页面布局和内容，提升用户留存率和转化率。

---

提示：以下是本篇文章正文内容，下面案例可供参考

项目需求

统计页面浏览量（每行记录就是一次浏览）
部分数据展示如下：

开发步骤

1.自定义PageViewMapper任务类

代码如下（示例）：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class PageViewMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] parts = line.split("\\x01"); // 使用特殊字符分隔符 (ASCII SOH)
        String count = "count";
        if (parts.length >= 2) { // 确保行包含至少两部分
            String page = count;
            word.set(page);
            context.write(word, one);
        } else {
            // 处理不合法的行
            System.err.println("Skipping invalid line: " + line);
        }
    }
}

2.编写PageViewReducer任务类

代码如下（示例）：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class PageViewReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

3.编写主类（PageViewCount）

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class PageViewCount {
    public static void main(String[] args) throws Exception {
        if (args.length != 2) {
            System.err.println("Usage: PageViewCount <input path> <output path>");
            System.exit(-1);
        }

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Page View Count");
        job.setJarByClass(PageViewCount.class);
        job.setMapperClass(PageViewMapper.class);
        job.setCombinerClass(PageViewReducer.class); // Optional: Combiner to optimize performance
        job.setReducerClass(PageViewReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

---

项目运行

将项目打成jar包，提交到HDFS中运行：

hadoop jar <jar包位置> <程序文件主类名> <输入文件路径> <输出文件路径（需要为空）>

结果展示

总结

电商日志数据分析中的页面浏览量统计是非常重要的一项工作。通过统计页面浏览量，企业可以深入了解用户行为和需求，优化产品设计和营销策略，提升用户体验和销售效果。同时，页面浏览量也可以帮助企业了解用户对不同页面的兴趣程度和热度，从而调整页面布局和内容，提升用户留存率和转化率。因此，在电商日志数据分析中，统计页面浏览量是一个至关重要的指标，对于企业的发展具有重要意义。