用户行为日志分析

用户行为日志概述

概念定义:用户每次访问网站时,所有的行为数据:访问,浏览,搜索,点击。。。

用户行为轨迹,流量日志。。。

比如:点课程,有记录,点html css,时间,IP,pc端?对大数据感兴趣


为什么

1.可以通过日志分析得到网站访问量

2.网站粘性

3.相应推荐(搜索洗衣机,根据点击日志,能够分析出来最近对家用电器感兴趣,给你打标签,为了促进新的订单产生)


生成渠道:nginx,ajax(鼠标悬停以及页面主键构成)

用户行为日志内容;

ip

账号

时间区域

使用的客户端

业务相关

链接地址跳转

分类:

1)访客系统属性,操作系统,浏览器

2)访问特征:url,ref,停留时间

3)访问信息:sessionid ,ip 这干嘛用?能够获取到地市

如何


意义

网站的眼睛:来自哪里,找什么?你那些页面最受欢迎?从哪里进来的?


离线数据处理架构

数据采集,清洗,功能需求统计处理,写入库,可视化

1)数据采集 flume专门log data  web日志写入到hdfs上

2)数据清洗 采用spark、hive、mapreduce清洗完之后可以放在HFDF上或其他分布式计算框架上

3)数据处理 按照需求进行相应业务逻辑统计分析

4)数据处理结果入库    结果可以存放在RDBMS和NoSQL中,调用对应数据库api

5)  数据可视化展示    通过图形化展示的方式展现出来:饼图、柱图、地图、折线图,百度echarts,hue,zeppelin






项目需求

需求一:统计immoc主站最受欢迎的课程手记的TOPN访问次数

需求二:按地市统计主站最受欢迎的top N课程 根据ip提取城市(借助开源项目)

需求三:按流量统计TOP n


日志分析:

数据清洗:编写scala程序:1.通过debug查看字段,获取所需字段 第一步解析 2.转换成地市、编号

。。。

dataframe保存到Mysql

数据可视化:echarts  依附图片可以使实际看到的比期望看到的更多

常见的可视化框架:echarts highcharts d3.js //hue zeppelin(不需要开发的)

功能实现


spark on yarn


性能调优(面试优化点)


发布了28 篇原创文章 · 获赞 3 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览