Day06.网站访问日志session数据分析
什么叫session
数据:时间区域操作
数据中的字段分别为:
访客 ip地址
访客 访问时间
访客 请求的url及协议
网站 响应码
网站 返回数据量
访客的 referral url(从哪个网站进来的)
访客的 客户端操作系统及浏览器信息
需求:
1)需要为从访问日志中梳理出每一个session(如果一个用户两次相邻请求之间的时间差<30分钟,则该两次请求都属于同一个session,否则分属不同的session),并为session中的历次请求打上序号,示意如下:
session号 ip地址 请求时间 请求url 请求次序 其他字段......
session1 ip1 2017-10-11 08:10:30 /a 1 ......
session1 ip1 2017-10-11 08:11:20 /b 2 ......
session2 ip1 2017-10-11 09:10:30 /c 1 ......
流程:
基本处理:读文件,多切分,拿到有用数据
1:把相同ip分到一块(分组)
2:相同组的数据,按照时间先后顺序来排列
3:进行时间比较 ---->打session,排顺序
2)将每次session进行汇总,得出用户每次session的浏览起、止页面,每次session会话总时长等,示意如下:
session号 ip地址 起始请求时间 结束请求时间 起始页面 跳出页面
什么叫session
数据:时间区域操作
数据中的字段分别为:
访客 ip地址
访客 访问时间
访客 请求的url及协议
网站 响应码
网站 返回数据量
访客的 referral url(从哪个网站进来的)
访客的 客户端操作系统及浏览器信息
需求:
1)需要为从访问日志中梳理出每一个session(如果一个用户两次相邻请求之间的时间差<30分钟,则该两次请求都属于同一个session,否则分属不同的session),并为session中的历次请求打上序号,示意如下:
session号 ip地址 请求时间 请求url 请求次序 其他字段......
session1 ip1 2017-10-11 08:10:30 /a 1 ......
session1 ip1 2017-10-11 08:11:20 /b 2 ......
session2 ip1 2017-10-11 09:10:30 /c 1 ......
流程:
基本处理:读文件,多切分,拿到有用数据
1:把相同ip分到一块(分组)
2:相同组的数据,按照时间先后顺序来排列
3:进行时间比较 ---->打session,排顺序
2)将每次session进行汇总,得出用户每次session的浏览起、止页面,每次session会话总时长等,示意如下:
session号 ip地址 起始请求时间 结束请求时间 起始页面 跳出页面