爱奇艺实时项目统计 第1 节 技术点及互联网访问日志概述

1、需求说明

今天到现在为止的每个类别的访问量
今天到现在为止从搜索引擎引流过来的类别的访问量
今天到现在为止每个栏目下面的销售额
今天到现在为止每个省份的购买量

---

2、项目使用的技术点：

简述：
javaweb服务器
模仿数据后
有一个队列，但同时是有多台服务器，也就是有多个队列，我们这里部署是三台服务器，也就是说有三个队列。
我们在javaweb服务器也都安装了flume。

之所以在javaweb服务器安装flume，主要是为了给javaweb服务器的log日志监控数据，上传到kafka里面，三个队列亦是如此。

SparkStreaming 实时统计
(1) 读取kafka的数据,通过SaprkStreaming处理后把数据保存到(HBase)的数据库里面

（2）通过Web端(SpringBoot)读取我们的数据后，接入数据显示到echart，最终显示结果如图所示：

---

3、互联网访问日志概述

为什么要记录访问日志的行为呢？ 通过日志我们可以得到网站页面的访问量，网站的黏性，推荐 用户行为分析，是指在获得网站访问量基本数据的情况下，对有关数据进行统计、分析，从 中发现用户访问网站的规律，并将这些规律与网络营销策略等相结合，从而发现目前网络营 销活动中可能存在的问题，并为进一步修正或重新制定网络营销策略提供依据。这是狭义的 只指网络上的用户行为分析。

3.1、重点分析的数据

用户行为分析应该包含以下数据重点分析：

• 用户的来源地区、来路域名和页面；

• 用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数；

• 注册用户和非注册用户，分析两者之间的浏览习惯；

• 用户所使用的搜索引擎、关键词、关联关键词和站内关键字；

• 用户选择什么样的入口形式（广告或者网站入口链接）更为有效；

• 用户访问网站流程，用来分析页面结构设计是否合理；

• 用户在页面上的网页热点图分布数据和网页覆盖图数据；

• 用户在不同时段的访问量情况等：

• 用户对于网站的字体颜色的喜好程度。 日志格式字段：

3.2、日志格式字段

ip 地址 用户名 访问时间 访问的模块地址 使用的方式 …

意义:
通过对用户行为监测获得的数据进行分析，可以让企业更加详细、清楚地了解用户的行为习 惯，从而找出网站、推广渠道等企业营销环境存在的问题，有助于企业发掘高转化率页面， 让企业的营销更加精准、有效，提高业务转化率，从而提升企业的广告收益。

3.3、日志分析

www/2 --代表电视剧
www/1 --代表电影
www/6 --综艺
www/4 – 动漫
www/3 – 记录篇