推荐系统常见问题（五）：推荐系统中的目标函数有哪些类型？

一直以来对于机器学习和推荐系统是有什么区别，有什么联系？？？搞不懂！尤其是机器学习中有目标函数，优化方法一说，而推荐系统中也有这一说，这两东西难道是一个东西？？？到现在都有些迷迷糊糊的。所以下面是自己的粗浅看法，并不一定对，之后知识有更新了，再来链接里更新~

一、机器学习中的目标函数

我们都知道在机器学习中 目标函数 = 经验风险 + 结构风险

经验风险：即代价函数，是整个训练集上所有样本误差的平均（损失函数是一个样本的误差）
结构风险：即正则化项，用来防止过拟合的情况出现（过度学习历史数据，导致它在真正预测时效果会不好），常用 L1、L2 范数来进行正则化。

所以最优经验风险和结构风险的这个函数就被称为目标函数。

N 代表样本数，L 函数代表损失函数，后面的代表正则化项。一般来说，损失函数越小，模型的鲁棒性会越好。（自我认为是可靠性高）

注意：

1. 这里的 yi 是真实值 | 真实分布，f(xi) 是预测值 | 预测分布，预测值的效果是由所选择的模型决定的；
2. 损失函数有很多种，比如 L1 Loss、L2 Loss、交叉熵等等
3. 优化方法有很多种，比如梯度下降，最小二乘法等

所以如果代价函数已经达到最优了，模型仍不能很好的工作，那就可以考虑换一个模型或者损失函数或者考虑一下优化方法的收敛速度等等。

二、推荐系统中的目标函数

同样，目标函数 = 代价函数（损失函数）+ 正则化项，以我目前粗浅的理解认为推荐系统中的目标函数主要分为两大类：

• Point-wise loss ：这个损失函数和前面的 L2 Loss一样，主要目的是 minimizing 预测值和真实值的平方差。（比如预测评分和真实评分之间的误差）
• Pair-wise loss：这个损失函数认为对于一个用户来说，观察到的物品 i 应该比未观察到的物品 j 排序更高，所以主要目的是要 maximizes 观察到的物品 i 和未观察到的物品 j 之间的预测分数差异。

前者的主要代表算法是一系列 MF-based 算法，在这篇博文中我有列举过推荐系统论文集合（一）：矩阵分解家族

后者的主要代码算法是一系列的 BPR-based 算法，在这篇博文中的算法都属于这一类型LibRec 学习笔记（五）：使用 LibRec 快速复现 BPR 算法以及对比它的改进算法

---

非常欢迎学习推荐系统的同学一起留言交流，一个人琢磨太累~