Day5——电商日志数据分析

最新推荐文章于 2024-07-19 10:46:46 发布
最新推荐文章于 2024-07-19 10:46:46 发布
阅读量560 收藏 6
点赞数 12
分类专栏： 生产实习 文章标签： 数据分析 原型模式 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_64365047/article/details/139624787
版权

文章目录

前言

今天完成第二，三问
统计各个省份的浏览量 （需要解析IP）
日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）

一、项目要求

根据电商日志文件，分析：

  1. 统计页面浏览量（每行记录就是一次浏览）

  2. 统计各个省份的浏览量 （需要解析IP）

  3. 日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）

    为什么要ETL：没有必要解析出所有数据，只需要解析出有价值的字段即可。本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city

二、步骤

1.代码结构

第二问
在这里插入图片描述
第三问
在这里插入图片描述

2.代码

创建P2Driver 类
负责设置作业的配置和运行

package mr2;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class P2Driver {

    public static void main(String[] args) throws Exception {
        if (args.length != 2) {
            System.err.println("Usage: P2Driver <input path> <output path>");
            System.exit(-1);
        }

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Page View Count");

        job.setJarByClass(P2Driver.class);
        job.setMapperClass(P2Mapper.class);
        job.setCombinerClass(P2Reducer.class);
        job.setReducerClass(P2Reducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

创建P2Mapper类
处理日志文件并根据IP地址解析出省份信息。每个输入行会被解析成一个或多个键值对输出，其中键是省份名称，值是计数（1）。

package mr2;

import com.bigdata.hadoop.project.utils.LogParser;

import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import com.bigdata.hadoop.project.utils.IPParser;
import com.bigdata.hadoop.project.utils.LogParser;

import java.io.IOException;
import java.util.Map;

public class P2Mapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    private static final IntWritable one = new IntWritable(1);
    private Text city = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException, IOException {
        // Split the input line into fields based on the delimiter
        String[] fields = value.toString().split("\u0001");

        if (fields.length > 13) {
            // Assuming the IP address is in the 14th field (index 13)
            String ip = fields[13];
            String log = value.toString();
            LogParser parser = new LogParser();

            Map<String, String> logInfo = parser.parse(log);

            if (StringUtils.isNotBlank(logInfo.get("ip"))) {
                IPParser.RegionInfo regionInfo = IPParser.getInstance().analyseIp(logInfo.get("ip"));
                String province = regionInfo.getProvince();
                if (StringUtils.isNotBlank(province)) {
                    context.write(new Text(province), new IntWritable(1));
                } else {
                    context.write(new Text("-"), new IntWritable(1));
                }
            } else {
                context.write(new Text("+"), new IntWritable(1));
            }

        }
    }

}

创建P2Reducer类
接收一个省份名称及其对应的计数列表，计算这些计数的总和，并输出省份名称及其总计数。

package mr2;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

class P2Reducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

建ETLDriver类

// An highlighted block
package ETL;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class ETLDriver {

    public static void main(String[] args) throws Exception {
        if (args.length != 2) {
            System.err.println("Usage: ETLDriver <input path> <output path>");
            System.exit(-1);
        }

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Log ETL");

        job.setJarByClass(ETLDriver.class);
        job.setMapperClass(ETLMapper.class);
        job.setCombinerClass(ETLReducer.class);
        job.setReducerClass(ETLReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

建ETLMapper类

// An highlighted block
package ETL;

import com.bigdata.hadoop.project.utils.GetPageId;
import com.bigdata.hadoop.project.utils.LogParser;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.Map;

public class ETLMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    private static final IntWritable one = new IntWritable(1);
    private Text outputKey = new Text();
    private LogParser logParser = new LogParser();
    private Logger logger = LoggerFactory.getLogger(ETLMapper.class);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 解析日志记录
        Map<String, String> logInfo = logParser.parse(value.toString());

        if (logInfo == null) {
            logger.error("日志记录的格式不正确或解析失败：" + value.toString());
            return;
        }

        // 获取需要的字段
        String ip = logInfo.get("ip");
        String url = logInfo.get("url");
        String country = logInfo.get("country");
        String province = logInfo.get("province");
        String city = logInfo.get("city");

        // 调用 GetPageId 获取 topicId
        String topicId = GetPageId.getPageId(url);
        logInfo.put("pageId", topicId);

        // 检查所有字段是否全部为空
        if (ip != null || url != null || topicId != null || country != null || province != null || city != null) {
            StringBuilder sb = new StringBuilder();

            if (ip != null && !ip.isEmpty()) sb.append("IP: ").append(ip).append(", ");
            if (url != null && !url.isEmpty()) sb.append("URL: ").append(url).append(", ");
            if (topicId != null && !topicId.isEmpty()) sb.append("PageId: ").append(topicId).append(", ");
            if (country != null && !country.isEmpty()) sb.append("Country: ").append(country).append(", ");
            if (province != null && !province.isEmpty()) sb.append("Province: ").append(province).append(", ");
            if (city != null && !city.isEmpty()) sb.append("City: ").append(city);

            // 移除末尾的逗号和空格
            String outputString = sb.toString().replaceAll(", $", "");
            outputKey.set(outputString);
            context.write(outputKey, one);
        } else {
            logger.error("所有字段为空，日志记录：" + value.toString());
        }
    }
}

建ETLReducer类

// An highlighted block
package ETL;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class ETLReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

3.打JAR包

在这里插入图片描述

在这里插入图片描述

4.在Hadoop虚拟机运行提交HDFS

在这里插入图片描述
在这里插入图片描述

总结

为了统计各个省份的浏览量并进行必要的ETL操作，我们设计了一个Mapper类（P2Mapper），其主要功能包括从日志文件中抽取有价值的字段，并解析IP以获取省份信息。
完整ETL过程
抽取（Extract）：从原始日志文件中抽取数据行。
转换（Transform）：利用 LogParser 和 IPParser 对数据进行转换。
加载（Load）：将转换后的省份信息和计数作为键值对输出，供Reducer阶段汇总统计。

辰....
关注
  • 12
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive实战 —— 电商数据分析(全流程详解 真实数据)
Byyyi耀的博客
01-24 7560
Hive实战 —— 电商数据分析
Day5 —— 电商日志数据分析项目
weixin_62804382的博客
06-19 900
项目二 _____（电商日志数据分析项目）引言需求分析详细思路统计页面浏览量Map阶段Reduce阶段日志的ETL操作Map阶段Reduce阶段统计各个省份的浏览量Map阶段Reduce阶段具体步骤统计页面浏览量日志的ETL操作统计各个省份的浏览量工具类（utils）提取页面ID的工具类（GetPageId）IP地址解析工具类（IPParser）日志解析工具类（ LogParser）运行结果截图统计页面浏览量日志的ETL操作统计各个省份的浏览量代码展示遇到的问题及解决方案 引言 在电子商务领域，日志数
Day4——电商日志数据分析
weixin_64365047的博客
06-12 488
今天完成电商数据分析第一问：统计页面浏览量（每行记录就是一次浏览）这个基于Hadoop的MapReduce程序用于统计网页浏览量。它包含以下组件和功能：PageViewDriver类是程序的入口点，负责设置作业的配置和运行。PageViewMapper类是Mapper的实现，将输入数据处理为键值对。PageViewReducer类是Reducer的实现，对Mapper的输出进行聚合和处理。Mapper和Reducer的输出键值对类型都是Text和IntWritable。
Day6 —— 电商日志数据分析项目部署流程
weixin_62804382的博客
06-19 1079
在最上方搜索框输入maven，或者在Build，Execution，Deployment—>Build Tools—>Maven，在Maven home path设置自己的maven安装路径，User setting file 首先点击一下Override，然后选择自己maven路径下中的conf文件夹下的settings.xml文件，Local repository 新建一个文件夹作为本地仓库地址，命名为localRepository。
Day 3——电商日志文件分析
weixin_64365047的博客
06-06 223
今天开始了第二个项目——电商日志数据分析（今天仅仅开个头）以上就是今天做的一点工作啦。
Day4——电商实战项目Hadoop实现（上）
2303_77130695的博客
06-06 425
电商是一种通过互联网进行商品和服务交易的新型贸易形式。随着互联网的普及和人们生活中越来越多的事物都变得数字化，电商已经成为现代社会中不可或缺的一部分。电商平台为消费者提供了方便快捷的购物体验，为商家提供了广阔的市场和高效的销售渠道。然而，电商平台上的数据量巨大，数据类型多样，数据流量高峰时间突然增加，这为数据分析和挖掘带来了巨大挑战。Hadoop 是一个开源的分布式文件系统(HDFS)和分布式计算框架(MapReduce)，它可以处理大规模数据并提供高性能、高可靠性和高可扩展性。
Day6——电商实战项目使用Hadoop实现（一）
m0_69070708的博客
06-12 197
根据电商日志文件，分析：统计页面浏览量（每行记录就是一次浏览）统计各个省份的浏览量 （需要解析IP）日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）为什么要ETL：没有必要解析出所有数据，只需要解析出有价值的字段即可。本项目中需要解析出：ip、url、pageId（topicId对应的页面Id）、country、province、city。
自学数据分析day1——初识&了解
weixin_74206712的博客
07-15 641
初识数据分析
生产实习Day5 ---- 电商日志数据分析（问题2--统计各个省份的浏览量 （需要解析IP））
Instinct__121的博客
06-13 1132
根据电商日志文件，分析： 1. 统计页面浏览量（每行记录就是一次浏览） 2. 统计各个省份的浏览量 （需要解析IP） 3. 日志的ETL操作（ETL：数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程）
数据分析day01——系统认识数据分析（笔记）
10-03
看戴师兄的视频后自己做的笔记，做个记录
电商营销数据分析(人大奥鹏作业1-4)收集.pdf
01-29
在电商营销数据分析中，了解和掌握相关工具和技术是至关重要的。本资料主要涉及Google Analytics的归因模型、广告系列超时时间、自定义维度范围、数据集中程度的评估方法、SQL查询技巧以及与营销策略相关的算法和...
python DataScience数据分析笔记day04
04-29
day04-Max与Min-中位数-统计-卷积-移动与指数平均线-布林带-线性模型
python学习Numpy基础,数据分析 day01.zip
05-06
数据分析 Numpy+Scipy+Matplotlib+Pandas 基础数值算法 科学计算 数据可视化 序列高级函数 一、numpy是什么？ 1.Numerical Python，数值的Python，补充了Python语言所欠缺的数值计算能力。 2.Numpy是其它数据分析及...
python学习Numpy基础,数据分析 day02.zip
05-06
数据分析 Numpy+Scipy+Matplotlib+Pandas 基础数值算法 科学计算 数据可视化 序列高级函数 一、numpy是什么？ 1.Numerical Python，数值的Python，补充了Python语言所欠缺的数值计算能力。 2.Numpy是其它数据分析及...
每天一个数据分析题（四百三十九）- 用户画像
最新发布
shiguangre的博客
07-19 169
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！用户画像是互联网企业常用的技术手段，通过对用户进行画像来实现精准营销等商业活动。下面关于用户画像的说法错误的是（）D. 用户画像本质上是用户数据标签化。C. 用户标签必须描述客观的事实。A. 用户画像具有动态性。B. 用户画像具有时效性。
每天一个数据分析题（四百三十二）- 假设检验
shiguangre的博客
07-17 264
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！在假设检验问题中，原假设为H0 ，给定显著水平为α，则关于假设检验的原理说法正确的是。D. 正态分布的性质。A. 中心极限定理。B. 小概率事件。C. 置信区间。
代谢组数据分析（十五）：基于python语言构建PLS-DA算法构建分类模型
H20230717的博客
07-16 505
代谢组数据分析（十五）：代谢物组数据分析基础流程（python版本）
每天一个数据分析题（四百三十八）- A/Btest
shiguangre的博客
07-19 126
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！A. 在其他条件一定时，预期提升比例越大，最小样本量越小。B. 在其他条件一定时，样本方差越大，最小样本量越小。C. 在其他条件一定时，选取α值越大，最小样本量越大。D. 在其他条件一定时，选取β值越小，最小样本量越大。
王清主编：Windows 0day漏洞分析全攻略
《0day安全：软件漏洞分析技术（第2版）》由王清主编，是一部专为网络安全领域打造的权威指南。该书共分为五个篇章，共计33章，深入剖析Windows平台上的缓冲区溢出漏洞分析、检测和防护技术。第一篇作为基础教程，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值