阿里巴巴大数据之路第一篇 数据技术篇

目录

 

第2章 日志采集

2.1 浏览器的页面日志采集

2.1.1 页面浏览日志采集流程

2.1.2 页面交互日志采集

2.1.3 页面日志的服务器端清洗和预处理

2.2 无线客户端的日志采集

2.2.1 页面事件

2.2.2 控件点击及其他事件

2.2.3 特殊场景

2.2.4 H5&Native日志统一

2.2.5 设备标识

2.2.6 日志传输

2.3 日志采集的挑战

2.3.1 典型场景

2.3.2 大促保障

第3章 数据同步

3.1 数据同步基础

3.1.1 直连同步

---

 

第2章 日志采集

 

2.1 浏览器的页面日志采集

页面浏览日志采集：两大基本指标：页面浏览量（PV）和访客数（UV）

页面交互日志采集

2.1.1 页面浏览日志采集流程

涉及到HTTP请求与响应

    在HTML文档内的适当位置增加一个日志的采集节点，当浏览器解析到这个节点时，将自动触发一个特定的HTTP请求到日志采集服务器。如此一来，当日志采集服务器接收到这个请求时，就可以确定浏览器已经成功地接收和打开了页面。

2.1.2 页面交互日志采集

2.1.3 页面日志的服务器端清洗和预处理

离线预处理

2.2 无线客户端的日志采集

2.2.1 页面事件

每条页面事件日志记录三类信息：1 设备及用户的基本信息；2 被访问页面的信息，这里主要是一些业务参数（如商品详情页的商品ID，所属的店铺等）；3 访问基本路径（如页面来源，来源的来源等），用于还原用户完整的访问行为。

2.2.2 控件点击及其他事件

2.2.3 特殊场景

2.2.4 H5&Native日志统一

2.2.5 设备标识

2.2.6 日志传输

2.3 日志采集的挑战

2.3.1 典型场景

2.3.2 大促保障

第3章 数据同步

3.1 数据同步基础

3.1.1 直连同步