大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发

 

阿里巴巴的数据计算层包含两大体系：

• 数据存储以及计算平台

• • 离线计算平台MaxCompute

  • 实时计算平台StreamCompute

• 数据整合以及管理平台

• • OneData

 

 

研发岗位的大致包括为：

1. 了解需求

2. 模型设计

3. ETL开发

4. 测试

5. 发布上线

6. 日常运维

7. 任务下线

 

与传统的数据仓库开发（ETL）相比，阿里数据研发特点：

• 业务变更频繁

• 需求快速交付

• 频繁发布上线

• 运维任务多

• 系统环境复杂