【电商实战Hadoop实现——Day4】

Caesar'

已于 2024-06-11 23:51:53 修改

阅读量1.9k

点赞数 42

文章标签： hadoop 分布式

于 2024-06-11 23:51:04 首次发布

本文链接：https://blog.csdn.net/weixin_63192724/article/details/139611202

版权

电商实战Hadoop实现——Day4

项目要求

根据电商日志文件，分析：

统计页面浏览量（每行记录就是一次浏览）
统计各个省份的浏览量（需要解析IP）
日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）

为什么要ETL：没有必要解析出所有数据，只需要解析出有价值的字段即可。本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city

一、实现统计页面浏览量

要统计页面浏览量，可以使用MapReduce进行处理

编写Mapper：
创建一个Mapper类来解析日志文件并输出每个页面的浏览量。Mapper的输入是文件中的一行记录，输出是键值对，其中键是页面的URL，值是常数1。

代码如下：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class PageViewMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    private final static IntWritable ONE = new IntWritable(1);
    private Text url = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 解析日志文件，获取URL
        String line = value.toString();
        String[] fields = line.split("\t");
        String url = fields[2];

        // 输出键值对
        this.url.set(url);
        context.write(this.url, ONE);
    }
}

编写Reducer：
创建一个Reducer类来接收Mapper的输出，并对相同URL的记录进行求和得到浏览量。Reducer的输入是键值对，其中键是页面的URL，值是每个页面的浏览次数。

代码如下：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class PageViewReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;

        // 对相同URL的记录进行求和
        for (IntWritable value : values) {
            sum += value.get();
        }

        // 输出结果
        this.result.set(sum);
        context.write(key, this.result);
    }
}

配置和运行MapReduce作业：
在主函数中进行配置和运行MapReduce作业。

代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class PageViewCount {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "page view count");
        job.setJarByClass(PageViewCount.class);
        job.setMapperClass(PageViewMapper.class);
        job.setReducerClass(PageViewReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

编译并使用Hadoop命令运行该作业：

hadoop jar pageviewcount.jar PageViewCount input_dir output_dir

这样就可以统计每个页面的浏览量，并将结果输出到指定的目录中。

总结

`
在当今竞争激烈的电商市场中，用户体验和精准营销是企业取得成功的关键因素。而页面浏览量作为用户行为的重要指标，扮演着至关重要的角色。

深度了解用户行为和需求

通过对页面浏览量的统计，企业可以获得关于用户行为的宝贵数据。例如，用户频繁访问哪些页面，在哪些页面停留时间较长，这些信息可以帮助企业准确把握用户的兴趣点和需求倾向。这种洞察力能够支持企业制定更加用户导向的产品策略和服务方案，从而提高用户满意度和忠诚度。

优化产品设计和营销策略

页面浏览量数据不仅能反映出用户的兴趣，还能揭示出产品页面的受欢迎程度。企业可以通过分析热门页面的数据，了解哪些产品或服务受到用户的青睐，从而进一步优化产品设计，改进用户体验。此外，页面浏览量数据还可以为营销策略提供依据，例如，针对高浏览量但低转化率的页面，企业可以调整营销策略，优化广告投放和促销活动，提升转化效果。