电商用户行为分析大数据系统

一、包含的模块

1、用户访问session分析模块：会话（session），用户的基础访问行为
2、页面单跳转化率模块：页面（page），用户的页面访问和页面跳转行为
3、各区域热门商品统计模块：商品（product），用户的商品点击行为
4、广告点击流量实时统计模块：广告（ad，advertisement），用户的广告点击行为

用户访问session分析模块

• 1.1、对用户访问session进行分析
• 1.2、按时间比例随机抽取session
• 1.3、获取点击、下单和支付次数排名前10的品类
• 1.4、获取top10品类的点击次数最多的10个session

2、页面单跳转化率

3、各区域热门商品统计

4、广告点击流量实时统计

二、在实际企业项目中的使用架构：

1、前端提交分析任务，其中就包括一个模块，就是用户访问session分析模块；可以指定各种各样的筛选条件，比如年龄范围、职业、城市等等。。
2、后端接收到了执行统计分析任务的请求之后，会调用底层的封装了spark-submit的shell脚本（Runtime、Process），shell脚本进而提交我们编写的Spark作业。
3、Spark作业获取使用者指定的筛选参数，然后运行复杂的作业逻辑，进行该模块的统计和分析。
4、Spark作业统计和分析的结果，会写入MySQL中，指定的表
5、最后，J2EE平台，使用者可以通过前端页面（美观），以表格、图表的形式展示和查看MySQL中存储的该统计分析任务的结果数据。

四、业务流程