大数据之路、阿里巴巴大数据实践读书笔记 --- 第一章、总述

一、大数据系统体系架构图大纲

1层 - 数据应用层

• 对内

• 内平台

• 对商家

• 对公众

2层 - 数据服务层

• 服务&基础数据源

• 数据服务&基础工具层

3层 - 数据计算层

• 离线计算

• 实时计算

• 数据公共层

4层 - 数据采集层

• 数据库同步

• 日志采集

---

二、架构层级分析：

A.数据采集层：

• 数据库同步（离线与实时）

  • 数据库同步同步工具：DataX/同步中心（直连同步）(离线)；
  • 消息中间件：TimeTunnel（文件同步）（实时/离线）;

• 日志采集

  • Aplus.JS(PC-WEB端)（离线文件/实时流）+ TimeTunnel（实时/离线）;

  • UserTrack(APP端)（离线文件/实时流）+ TimeTunnel（实时/离线）;

B.数据计算层：

• 离线计算

  • 输入

  • MaxCompute