学习总结
(1)Flink 是最具代表性的批流一体的大数据平台。特点:让批处理和流处理共用一套代码,从而既能批量处理已落盘的数据,又能直接处理实时数据流。
(2)Flink 提高推荐系统实时性:用户数据进入数据流,即进入数据消息队列后,会被分割成一定时长的时间窗口,之后 Flink 会按照顺序来依次处理每个时间窗口内的数据,计算出推荐系统需要的特征。这个处理是直接在实时数据流上进行的,所以相比原来基于 Spark 的批处理过程,实时性有了大幅提高。
(3)Flink的实时性实践:利用 Flink 我们可以实时地获取到用户刚刚评价过的电影,然后通过实时更新用户 Embedding,就可以实现 SparrowRecsys 的实时推荐了。
(4)实时推荐系统的适用场景(快消产品):
- 新闻咨询类
- 短视频
- 婚恋类、陌生人社交类
- 直播类
- 电商类
- 音乐、电台类