大数据之路读书笔记（一）

架构图

数据层次划分介绍

数据采集层

1、数据库：一般是应用软件或者网站的后端业务数据库，内部存储的数据为各种业务流程产生的业务数据，常见为关系型数据库，MYSQL、ORACLE等等比较常见。

2、日志采集技术：一般是应用软件或者网站的前端页面日志服务器，内部存储的数据为各种提前设定好的监控用户产生的埋点数据，这里使用的技术为Aplus.JS和UserTrack。

3、Aplus.JS：针对Web端设计的日志采集技术方案。

4、UserTrack：针对APP端设计的日志采集技术方案。

5、DataX和TimeTunnel：都是用于提供数据传输服务的技术。

数据计算层

1、MaxComputer：离线大数据平台，提供离线数据存储和计算能力。

2、StreamComputer：实时大数据平台，提供实时数据存储和计算能力。

3、OneData：一套数据管理的规范使用体系。

4、数据建设理论：操作数据层（ODS）、明细数据层（DWD）、汇总数据层（DWS）和应用数据层（ADS）。

数据服务层

1、服务&工具层数据源：用各种查询度比较快的数据库存储，存储的数据一般是一些指标数据，提供给数据分析师使用。

2、OnService：数据报表及各种图表的应用工具。

数据应用层

1、对内：一般是各种考核指标或者运营指标报告，是对内部管理评价和决策的重要依据

2、对外：一般是各种营销数据，用于提升公司影响力，提升对公司的信心。

3、对商家：一般是发放各种活动奖励的依据，同时也是监控商家行为是否合规。

4、对公众：一般是各种广告宣传数据，提升品牌影响力。