简介 实时任务特征 1、时效性高 2、常驻任务 3、性能要求高 4、应用局限性 流式技术架构 1、数据采集 2、数据处理 3、数据存储 4、数据服务 实时处理中的问题 1、去重指标 【精确去重】保存明细 【模糊去重】布隆过滤器、基数估计 2、数据倾斜 去重指标分桶 非去重指标分桶 3、事务处理 数据自动 ACK 、失败重发以及事务信息等机制