Hadoop之网站流量日志数据分析

网站流量日志数据分析系统

点击流数据模型

点击流是指用户在网站上持续访问的轨迹，按照时间来进行先后区分，基本上所有大型网站都有日志埋点。通过js的方式，可以获得用户在网站上所访问的内容，包括url。埋点收集过来的数据，都发送到日志服务器，一条日志大概1KB。然后分析用户的点击数据，得到我们的点击流模型。

日志数据例子：192.168.52.100 a.html2018-11-20 11:20:20
可以分析计算有多少用户访问？一共访问多少页面？平均一个用户访问多少页面？页面停留时间？等等问题，可以把访问数据模型转化成以下两种模型：

PageView模型： 重视每一个页面访问情况
Visit模型： 重视每一个页面访问情况

流量分析包括内容分析、转化分析是一个内涵丰富的体系，整体过程是一个金字塔结构，金字塔顶部是网站的目标：投资回报率ROI

网站流量模型分析： 分析网站流量的来源：广告推广、自然搜索、付费搜索、直接流量

网站流量多维度细分： 通过不同维度对指标进行分割，访问来源(时间粒度和地理位置) 访问媒介(目标页面和新老访客)

网站内容及导航页分析 页面可以分为导航页、功能页、内容页

网站流量转化漏斗分析 首页