「从零入门推荐系统」15：推荐系统的效果评估

作者 | gongyouliu

编辑 | gongyouliu

我们在第5章《推荐系统业务流程与架构》5.1.6节中简单介绍了什么是离线评估、什么是在线评估，本章我们会深入讲解具体的推荐系统评估指标及计算方法。

推荐系统是一个偏业务应用的工程算法解决方案。对推荐系统进行评估，是想更好地衡量推荐系统的价值，希望通过数据化的形式反馈可能存在的问题，最终优化推荐系统的效果，带来用户体验的提升，最终为提供推荐服务的产品带来更多的收益。所以推荐系统评估是一个非常重要的过程，是构建任何一个企业级推荐系统不可或缺的组成部分。正是有了推荐系统评估，才能让推荐业务成为一个数据驱动的业务闭环，才可以通过不断迭代推荐系统，让推荐系统产生更大的商业价值。

本章我们从推荐系统评估的目的、评估方法的分类、具体的评估方法3个维度来讲解。其中在评估方法中，我们会重点讲解离线评估和在线评估，这两类评估方法是在推荐系统实践中必不可少的部分，所以读者们需要深刻理解和掌握。

15.1 推荐评估的目的

推荐系统评估是跟推荐系统的产品定位息息相关的，推荐系统是解决信息高效分发的手段，希望通过推荐物品，更快、更好地满足用户的不确定性需求。当然，满足用户需求的最终目标是通过用户来获取收益（严格来说，对于通过广告来盈利的公司，收益可能是来源于广告公司，但是最终为广告买单的还是用户）。所以，推荐系统评估的最终目的有两个：一个是通过优化产品交互提升用户体验，另一个是通过用户更频繁的交互行为（如购买商品、广告曝光、会员付费等）最终产生收益。

上面说的两个目的还比较抽象，不好衡量，评估是需要通过数据指标来体现的，需要量化。只有量化的指标才可以进行对比分析，发现其中的问题，进而优化提升。在讲具体的量化指标之前，下面我们先对评估方法进行分类，不同类型的评估方法对应的评估指标是不一样的，计算逻辑也不同。

15.2 推荐系统评估方法的分类

推荐系统本质上就是一个机器学习问题（具体的业务流程可以参看下面图1）。在推荐系统工程实践中，我们需要构建推荐算法模型，并选择合适的(效果好的)的算法模型，将算法模型部署到线上推荐业务中，利用算法模型来预测用户对物品的偏好，通过用户的真实反馈(是否点击、是否购买、是否播放等)来评估算法效果。同时，在必要(不一定必须)的时候，需要跟你的用户沟通，收集用户对推荐系统的真实评价，再基于用户评价来评估推荐系统可能存在的问题，并进一步优化推荐系统。推荐系统评估是对推荐系统的推荐质量的一种度量，只有满足一定评估要求的推荐系统才能产生更好的业务效果。

图1：推荐系统业务流程

根据上面的分析，推荐系统评估一般可以分为模型训练过程中的离线评估，模型部署到系统中提供真实推荐服务过程中的在线评估，以及基于推荐产品直观感受的主观评估，下面我们分别介绍。

• 离线评估

离线评估是在构建推荐算法模型过程中的评估（参见图1），主要是评估训练好的推荐模型的质量（即模型预测得好不好、准不准，常用的评估指标有准确度、召回率等）。模型在上线服务之前需要评估该模型的准确度，一般是将样本数据划分为训练集和测试集，训练集用于训练模型，而测试集用来评估模型的预测误差（一般还会有验证集，用于调优模型的超参数）。

• 在线评估

在线评估是在模型上线提供推荐服务过程中（参见上面的图1）评估一些真实的用户体验指标、转化指标，比如转化率、购买率、点击率、人均播放时长等。线上评估一般会结合AB测试（本章我们不涉及到AB测试相关的知识点，后面会单独用一章的篇幅来重点讲解推荐系统的AB测试）做不同模型的对比实验，先对新模型放一部分量（用户或者接口访问），如果效果达到期望再逐步拓展到所有用户，避免模型线上效果不好严重影响用户体验和收益性指标等。

• 主观评估

当推荐系统上线到产品后，用户就可以真实的使用推荐系统提供的推荐能力了，在使用过程中体验怎么样，感受怎么样，用户最有发言权。这时， 我们可以通过主观评估的方式来获得用户对推荐系统的真实评价。具体的评估方式可以是用户问卷调查、电话访谈、跟用户直接面对面沟通等，客观地了解用户对推荐产品的反馈和想法。主观评估是很重要的一种评估推荐系统的补充方式，可以用于优化推荐系统的方方面面，包括交互、体验、效果等。本章我们不对主观评估进行深入介绍，感兴趣的读者可以自行思考或者查阅相关材料。

15.3 常用评估方法介绍