大数据之路读书笔记（二）

前言

        上一篇文章是对大数据整个体系框架的简单学习，从宏观角度体验大数据整体运作流程，现在开始围绕这个框架对每个节点进行细致的研究，也就是整体框架落地的实现过程。

数据采集层

        数据采集层核心技术要点，主要分为数据同步和日志采集，在实际工作中，数据同步主要是对接后端开发人员，和他们沟通怎么获取存储于数据库中的业务数据，而日志采集则主要是对接前端开发人员，需要参与埋点的设计，还需要配置日志服务器，日志数据都是从日志服务器中获取到的。

日志采集体系方案

        日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志采集技术方案；UserTrack是APP端（无线客户端）日志采集技术方案。

        之所以，有两种日志采集技术方案，主要是基于对市场的考虑，目前互联网用户市场主要分为PC端和移动端，由于各种商业竞争原因，这两大市场底层操作系统有这很大的区别，为了适应这种区别，不得不分成两种方案，这个也是市场决定技术的一个案例吧。

Aplus.JS日志采集方案（基于浏览器）

        浏览器的页面型产品/服务的日志采集主要分为两大类（基于使用场景），页面浏览（展现）日志采集和页面交互日志采集。

        页面浏览日志采集：指的是一个页面被加载到浏览器呈现给用户观看的过程，在这个过程中产生的日志就是页面浏览日志，页面浏览日志最主要的使用场景就是计算PV（页面浏览量，PageView）和UV（访客数，UniqueVisitors）指标。PV指标的数据意义主要有三点，一是反映内容对用户的吸引度，二是对开发团队可以用于评估产品设计风格对用户的吸引力，三是做渗透分析显示流量的去向；UV指标的数据意义主要有三点，一是衡量一个产品的用户规模，二是从时间轴上对比数据反映用户对产品的满意度，三是评价营销活动的具体成效。

        页面交互日志采集：指的是页面加载完成之后，用户在页面上执行的各种操作，常见的操作如点击按钮、发表内容、上传下载等等，用户在执行这些操作的过程中不但和后端进行交互数据，同时也会触发提前设计好的前端埋点脚本，生成页面交互日志，页面交互日志的使用场景很多样化，无法总结具体的指标，但是目的都是相似的，就是量化用户行为，寻找用户的兴趣点，以便优化用户体验，增强用户的忠诚度，提高商业价值。