第一章 总述
1.阿里巴巴大数据系统体系架构分为三大部分数据采集层、数据计算层、数据服务层
2.数据采集层
日志采集系统:Aplus.JS是 web端日志采集技术方案;UserTrack是APP端日志采集方案
数据传输:TimeTunnel(TT)体系进行数据传输,既包括数据库的增量数据传输,也包括日志数据的传输,既支持实时流式计算,也支持时间窗口的批量计算
数据同步工具(DataX和同步中心(基于Datax易用性封装的))直连异构数据库来抽取各时间窗口数据
3.数据计算层
数据存储及计算云平台(离线计算平台MaxCompute和实时计算平台StreamCompute)和数据整合及管理体系(oneData)
4.数据服务层
数据服务平台(oneService)
5.数据应用层
搜索,推荐,广告,金融。。。。。。
对内:实时数据监控、自助式的数据网站、宏观决策分析支撑平台、对象分析工具、行业数据分析门户、流量分析平台。。。