Hadoop之网站流量日志数据分析

网站流量日志数据分析系统

点击流数据模型

点击流是指用户在网站上持续访问的轨迹,按照时间来进行先后区分,基本上所有大型网站都有日志埋点。通过js的方式,可以获得用户在网站上所访问的内容,包括url。埋点收集过来的数据,都发送到日志服务器,一条日志大概1KB。然后分析用户的点击数据,得到我们的点击流模型。

日志数据例子:192.168.52.100 a.html2018-11-20 11:20:20
可以分析计算有多少用户访问?一共访问多少页面?平均一个用户访问多少页面?页面停留时间?等等问题,可以把访问数据模型转化成以下两种模型:

PageView模型: 重视每一个页面访问情况
Visit模型: 重视每一个页面访问情况

流量分析包括内容分析、转化分析是一个内涵丰富的体系,整体过程是一个金字塔结构,金字塔顶部是网站的目标:投资回报率ROI

网站流量模型分析: 分析网站流量的来源:广告推广、自然搜索、付费搜索、直接流量

网站流量多维度细分: 通过不同维度对指标进行分割,访问来源(时间粒度和地理位置) 访问媒介(目标页面和新老访客)

网站内容及导航页分析 页面可以分为导航页、功能页、内容页

网站流量转化漏斗分析 首页 -> 网站分类页 -> 商品详情页 -> 订单确认页 -> 付款购买页

流量常见分析分类 访问网站的不重复IP数(一个IP对应多个人,通过cookie来区分)、PageView浏览量(PV值,每打开一次就算一次)、Unique PageView浏览量(用户一天内多次访问算一次)、网站停留时间等等

访客分析 地区运营商、终端详情、新老访客、忠诚度、活跃度

转化路径分析 分析漏斗模型:每一步相对于上一步和第一步的转化率

流量分析网站整体架构模块

  • 数据采集模块 使用flume来进行采集
  • 数据清洗与预处理,用MapReduce实现
  • 数据入库,将清洗后结构化的数据全部loadhive表里
  • 数据分析,开发数据统计分析的hql语言
  • 数据展示,展示结果数据
评论 2 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

_TIM_

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值