阿里巴巴大数据之路

数据治理：对这些数据进行有序、有结构地分类组织和存储，
目前企业数据现状：集团数据存储达到EB (1EB=1024PB==2^60字节)级别，部分单张表每天的数据记录数高达几千亿条：
数据工程师工作：数据工程师每天要面对百万级规模的离线数据处理工作。数据模型、数据研发、数据质量和运维保障工作。
大数据系统体系：数据采集、数据计算、数据服务和数据应用 

数据采集层：

 日志采集体系方案：Aplus.JS Web 日志采集技术方案；UserTrack APP 端日志采集技术方案

各个场景埋点规范：满足需求：通用浏览、 点击、特殊交互、 APP 事件、 H5 APP 里的 H5 Native 日志数据打 通等多种业务场景。

数据传输体系： TimeTunnel (TT ）：括数据库的增量数据传输，日志数据 的传输；既支持实时流式计算，，也 支持各种时间窗口的批量计算。

数据同步工具：DataX ，同步中心（基于 DataX 易用性封装的））直连异构数据库 （备库）来抽取各种时间窗口的数据。

关于异构数据库：https://blog.csdn.net/aeon521730041/article/details/102159704?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

数据计算层：

两大体 系：数据存储及计算云平台（离线计算平台 MaxCompute 和实时计算 Strea Compute）

和数据整合及管理体系（“OneData ”）（建统一、规范、可共享的全域数据体系 ，避免数据的 冗余和重复建设 ，规避数据烟囱和不一致性）

数据公共层

数据仓库：离线数据仓库（数据计算 频率主要以天（包含小时、周和月）为单位 ；如下 ，则每天凌晨处理 上一天的数据。）

实时数据仓库（“双 1 ”实时数据直播大屏）

数据仓库的数据加工链路（数据资产--信息资产）：操作 数据层（ Operational Data Store, ODS 、明细数据层（ Data Warehouse Detail , DWD ）、汇总数据层（ Data Warehouse Summary, DWS ）和 应用数据层（ Application Data Store, ADS ）

元数据模型整合及应用：包含数据源元数据、数据仓库元数据 、数据链路元数据、工 类元数据 数据质量类元数据等。

数据服务层：

针对不同的需求，数据服务层的 数据源架构在多种数据库之上，如 MySQL HBase 等。后续将逐渐迁 移至阿里云云数据库 ApsaraDB for RDS （简称“ RDS ”）和表格存储（ Table Store ）等。

数据服务平台（ “OneService ”），One Service 以数据仓库整合计算好 的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单 数据查询服务、复杂数据查询服务（承接集团用户识别、用户画像等复杂数据查询服务）和实时数据推送服务 大特色数据服务。

数据应用层：

应用：搜索、推荐、广告、 金融、信用、保险、文娱、物流等。ISV 研究机构和社会组织等也可以利用阿里开放的数据能力和技术。

对外数据应用产品：生意参谋

对内数据平台产品：实时数据监控、自助式的数据网站或产品构建的数据小站、宏观决策分析支撑平台、对象分析工具、行业数据分析门户、流量分析平台等。