《大数据之路：阿里巴巴大数据实践》笔记——实时开发篇

简介

实时任务特征

1、时效性高
2、常驻任务
3、性能要求高
4、应用局限性

流式技术架构

1、数据采集
2、数据处理
3、数据存储
4、数据服务

实时处理中的问题

1、去重指标

【精确去重】保存明细
【模糊去重】布隆过滤器、基数估计

2、数据倾斜

去重指标分桶
非去重指标分桶

3、事务处理

数据自动 ACK 、失败重发以及事务信息等机制