推荐系统的核心组成部分
这里把推荐系统分为以下重要的组成部分:
- 离线
- 核心节点
- 服务
- UI
下面将大致介绍每一部分的重点内容
离线
离线部分主要包括数据采集、ETL、特征工程和离线算法模型的训练。
数据采集就不用多说了,它是推荐中的物料,有了数据,推荐系统才能发挥作用,才能训练各种各样的模型进行推荐,进而将算法的作用发挥到极致。所以,数据收集是比较重要的,要在这个方面多多思考。
ETL就是常说的数据清洗。因为原始的数据并不是能满足你的要求,而是非常杂乱的,那么需要对数据做进一步的处理,方便后续的使用,这个过程往往伴随这数据仓库的产生。
特征工程。原始数据太多了,可能需要挑选若干个进行重点分析。
算法模型。根据现有的数据,训练离线模型。
核心节点
核心节点包括推荐结果存储,推荐引擎配置,AB test 服务。这部分内容是推荐的关键,后续章节详细给出。
服务
服务这块包含推荐服务、实时服务、排序服务和业务服务。这部分是推荐系统的重要工程,它涉及大数据、排序逻辑、业务逻辑和推荐逻辑,是算法和工程结合的产物。
UI
有人可能会说,推荐系统怎么会包含UI,没错,这个还非常重要。推荐系统的推荐效果怎么样,全靠它和真实的用户进行交互,全靠它的数据上报。它上报的曝光和点击数据是对推荐系统很重要的反馈,推荐系统根据实际用户的反馈会做进一步的调整和优化。