大数据流式处理的演变

作者：高二蛋

来源：恒生LIGHT云社区

随着抖音、快手等短视频平台的兴起，流式计算进入了大家的视线，各大公司使用流式计算根据用户的行为偏好，在短时间内反映在推荐模型中，推荐模型再以低延迟的捕捉用户的行为偏好，从而提供更精准、及时的推荐，这也就是我们刷抖音停不下来的原因；接下来就给大家介绍一下流式数据的前世今生:

第一种:

特点:实时性好,但是海量数据的时候,高并发就不行了;

第二种:

特点: 高并发实现了,但是低延迟做不到

第三种:(最初第一代流式处理的架构)

• 特点: 把当前计算处理过程当中,所需要的哪些东西,不要去关系型数据库里查了,直接把它存到本地状态就行了;
• 缺点: 无法满足处理数据的有序性;

第四种:

优点: 实现了实时性,低延迟；

缺点: 维护起来比较麻烦,要同时维护两套系统；

说明: 这里的speed table先获取近似的数据以供粗略查询;随后再查看和batch table

结合后的准确数据；

第五种:

说明: 就是用flink作流式处理，集合了所有的优点；