请求大佬支援

【MapReduce基础——应用案例——网站KPI统计】
某公司在做网站KPI项目统计中,采集数据原文件参见“access.20180104.log”,部分数据样式的截图如下:

程序中分别对五个kpi指标进行统计操作:
1.browser:用户使用的浏览器统计
2.ips:页面用户独立ip数统计
3.pv:网站pv量统计
4.source:用户来源网址统计
5.time:时间段用户访问量统计
【项目开发流程介绍】
【数据处理 Java】
写一段Java代码建立KPIBean类文件,将原始数据中的KPI解析每行日志数据,包括验证数据的合法性,将各个所需要的属性封装至kpi对象中
【用户使用的浏览器统计】
写一段MapReduce代码,通过KPIBean,将浏览用户使用的浏览器晰出,并进行浏览器的计数统计,将计算结果输出至HDFS的/out/kpi/Browser文件夹下。
【页面用户独立ip数统计】
写一段MapReduce代码,通过KPIBean,将用户独立IP属性值晰出,并统计每个页面的独立访问ip数,将计算结果输出至HDFS的/out/kpi/ips文件夹下。
【网站pv量统计】
写一段MapReduce代码,通过KPIBean,将PV属性值晰出,并统计网站PV量,将计算结果输出至HDFS的/out/kpi/pv文件夹下。
【用户来源网址统计】
写一段MapReduce代码,通过KPIBean,将用户来源网址属性值晰出,并统计每个有效网址情况,将计算结果输出至HDFS的/out/kpi/ipSource文件夹下。
【基于时间段用户访问量统计】
写一段MapReduce代码,通过KPIBean,将时间段用户访问属性值晰出,并统计每小时用户访问量,将计算结果输出至HDFS的/out/kpi/usertime文件夹下。

//附:参考数据含义示例
//需要解析的属性为8个
private String remote_addr;//用户ip,0
private String remote_user;//客户端用户名,1
private String request_time;//请求时间,3
private String request_method;//请求方法,5
private String request_page;// 请求页面,6
private String request_http;// http协议信息,7
private String request_status;//返回的状态码,8
private String sent_bytes;//发送的页面字节数,9
private String http_referrer;//从什么页面跳转进来,10
private String user_agent;//用户使用的客户端信息,数组剩下的部分

在这里插入图片描述

  • List item
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值