贝叶斯个性化排序(BPR)算法详细推导

1.前言

  在很多推荐场景中，我们都是基于现有的用户和商品之间的一些数据，得到用户对所有商品的评分，选择高分的商品推荐给用户，这是funkSVD之类算法的做法，使用起来也很有效。但是在有些推荐场景中，我们是为了在千万级别的商品中推荐个位数的商品给用户，此时，我们更关心的是用户来说，哪些极少数商品在用户心中有更高的优先级，也就是排序更靠前。也就是说，我们需要一个排序算法，这个算法可以把每个用户对应的所有商品按喜好排序。BPR就是这样的一个我们需要的排序算法。

2.问题引入

  假设U是用户集合，I是项目集合。在本模型中，隐式反馈$S\subseteq U\times I$ 是可用的。比如购买行为，点击流等等。我们的目标是提供给用户一个个性化的推荐排序${>}_u\subset I^2$，其中${>}_u$必须满足如下性质：

• $完整性：\forall i,j\in I:i\ne j\Rightarrow i{>}_{u}j\cup j{>}_{u}i$
• $反对称性：\forall i,j\in I:i{>}_{u}j\cap j{>}_{u}i\Rightarrow i=j$
• $传递性：\forall i,j,k\in I:i{>}_{u}j\cap j{>}_{u}k\Rightarrow i{>}_{u}k$

  同时，BPR也用了类似矩阵分解的模型，对于用户集$U$和物品集$I$对应的$U\times I$的预测排序矩阵，我们期望得到两个分解后的用户矩阵$W(|U|\times k)$和物品矩阵$H(|I|\times k)$，满足:
$$\overline{X}=W{H}^T$$
  对于任意一个用户u，对应的任意一个物品i，我们预测得出的用户对该物品的偏好计算如下：
$$\overline{x}=w_u\cdot h_i=\sum _{f=1}^k{w}_{uf}{h}_{if}$$
  最终我们的目标，是希望寻找合适的矩阵$W$，$H$，让$\overline{X}$和$X$最相似。

3.BPR的算法原理

  BPR 基于最大后验估计$P(W,H|>u)$来求解模型参数$W$,$H$，这里我们用$\theta$来表示参数$W$和$H$,${>}_u$代表用户$u$对应的所有商品的全序关系,则优化目标是$P(\theta |{>}_u)$。根据贝叶斯公式，我们有：
$$P(\theta |{>}_u)=\frac{P({>}_u|\theta )P(\theta )}{P({>}_u)}$$
  由于我们求解假设了用户的排序和其他用户无关，那么对于任意一个用户u来说，P(>u)对所有的物品一样，所以有：
$$P(\theta |{>}_u)\propto P({>}_u|\theta )P(\theta )$$
  公式中$P(\theta |{>}_u)$是后验，$P({>}_u|\theta )$是似然，$P(\theta )$是先验；其中theta为所求模型，具体包括：表示用户的隐含因子矩阵P，及表达物品的隐含因子矩阵Q。

  这个优化目标转化为两部分。第一部分和样本数据集D有关，第二部分和样本数据集D无关

第一部分：

  对于第一部分，由于我们假设每个用户之间的偏好行为相互独立，同一用户对不同物品的偏序相互独立，所以有：
$$\prod _{u\in U}P({>}_u|\theta )=\prod _{(u,i,j)\in (U\times I\times I)}P(i{>}_{u}j|\theta {)}^{\delta ((u,i,j)\in D)}(1-P(i{>}_{u}j|\theta ){)}^{\delta ((u,j,i)\notin D)}$$
  其中，
$$\delta (b)=\{\begin{array}{ll}1& \text{if b is true}\\ 0& \text{else}\end{array}$$
  根据上面说到的完整性和反对称性，优化目标的第一部分可以简化为：
$$\prod _{u\in U}P({>}_u|\theta )=\prod _{(u,i,j)\in (U\times I\times I)}P(i{>}_{u}j|\theta )$$
  而对于$P(i{>}_{u}j|\theta )$这个概率，我们可以使用下面这个式子来代替:
$$P(i{>}_{u}j|\theta )=\sigma ({\overline{x}}_{uij}(\theta ))$$
  其中 $\sigma$ 是logistic sigmoid函数，为了满足BPR的完整性，反对称性和传递性并且方便优化计算：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
  现在我们的重点就转换到了优化${\overline{x}}_{uij}(\theta )$上，而${\overline{x}}_{uij}(\theta )$可以看做用户$u$对$i$和$j$偏好程度的差异,我们当然希望$i$和$j$的差异越大越好，这种差异如何体现，最简单的就是差值：
$${\overline{x}}_{uij}(\theta )={\overline{x}}_{ui}(\theta )-{\overline{x}}_{uj}(\theta )$$
  而${\overline{x}}_{ui}(\theta )$，${\overline{x}}_{uj}(\theta )$，就是我们的矩阵 $\overline{x}$ 对应位置的值。这里为了方便，我们不写θ,这样上式可以表示为:
$${\overline{x}}_{uij}={\overline{x}}_{ui}-{\overline{x}}_{uj}$$
  最终，我们的第一部分优化目标转化为：
$$\prod _{u\in U}P({>}_u|\theta )=\prod _{(u,i,j)\in D}\sigma ({\overline{x}}_{ui}-{\overline{x}}_{uj})$$

第二部分

  假设这个概率分布符合正太分布，且对应的均值是0，协方差矩阵是λθI，即
$$P(\theta )\sim N(0,{\lambda }_{\theta }I)$$
  对于上面假设的这个多维正态分布，其对数和$||\theta |{|}^2$成正比。即：
$$lnP(\theta )={\lambda }_{\theta }||\theta |{|}^2$$

总结

  最终对于我们的最大对数后验估计函数：
       $lnP(\theta |{>}_u)$

        $\propto lnP({>}_u|\theta )P(\theta )$

        $=ln{\prod }_{(u,i,j)\in D}\sigma ({\overline{x}}_{ui}-{\overline{x}}_{uj})+lnP(\theta )$

        $={\sum }_{(u,i,j)\in D}(ln\sigma ({\overline{x}}_{ui}-{\overline{x}}_{uj})-{\lambda }_{\theta }||\theta |{|}^2)$

        $={\sum }_{(u,i,j)\in D}(ln\sigma ({\overline{x}}_{ui}-{\overline{x}}_{uj})-{\lambda }_{\theta }||p_u|{|}^2-{\lambda }_{\theta }||q_i|{|}^2-{\lambda }_{\theta }||q_j|{|}^2)$

        $={\sum }_{(u,i,j)\in D}(ln\sigma (p_u\cdot q_i-p_u\cdot q_j)-{\lambda }_{\theta }||p_u|{|}^2-{\lambda }_{\theta }||q_i|{|}^2-{\lambda }_{\theta }||q_j|{|}^2)$
  其中 ${\lambda }_{\theta }$ 为正则系数。对应的最小化问题变为：
$$argmin\sum _{(u,i,j)\in D}({\lambda }_{\theta }||p_u|{|}^2+{\lambda }_{\theta }||q_i|{|}^2+{\lambda }_{\theta }||q_j|{|}^2-ln\sigma (p_u\cdot q_i-p_u\cdot q_j))$$
  采用SGD求解上述最小化问题，分别针对$p_u$、$q_i$、$q_j$求偏导如下：

     $\frac{\partial f}{\partial p_u}=\frac{1}{1+e^{p_u\cdot q_i-p_u\cdot q_j}}(q_j-q_i)+\lambda p_u$

     $\frac{\partial f}{\partial q_i}=\frac{-p_u}{1+e^{p_u\cdot q_i-p_u\cdot q_j}}+\lambda q_i$

     $\frac{\partial f}{\partial q_j}=\frac{p_u}{1+e^{p_u\cdot q_i-p_u\cdot q_j}}+\lambda q_j$

  模型迭代求解的公式如下：
     $p_u=p_u-\alpha (\frac{1}{1+e^{p_u\cdot q_i-p_u\cdot q_j}}(q_j-q_i)+\lambda p_u)$

     $q_i=q_i-\alpha (\frac{-p_u}{1+e^{p_u\cdot q_i-p_u\cdot q_j}}+\lambda q_i)$

     $q_j=q_j-\alpha (\frac{p_u}{1+e^{p_u\cdot q_i-p_u\cdot q_j}}+\lambda q_j)$

  其中 α 为学习速率。

4.算法流程

  输入：训练集$D$三元组，梯度步长$\alpha$， 正则化参数$\lambda$,分解矩阵维度$k$。　　　　　　　　　　
  输出：模型参数，矩阵$W$,$H$
  1. 随机初始化矩阵$W$,$H$
  2. 迭代更新模型参数：
$$w_{uf}=w_{uf}+\alpha (\sum _{(u,i,j)\in D}\frac{1}{1+e^{{\overline{x}}_{ui}-{\overline{x}}_{uj}}}(h_{if}-h_{jf})+\lambda w_{uf})$$
$$h_{if}=h_{if}+\alpha (\sum _{(u,i,j)\in D}\frac{1}{1+e^{{\overline{x}}_{ui}-{\overline{x}}_{uj}}}{w}_{uf}+\lambda h_{if})$$
$$h_{jf}=h_{jf}+\alpha (\sum _{(u,i,j)\in D}\frac{1}{1+e^{{\overline{x}}_{ui}-{\overline{x}}_{uj}}}(-w_{uf})+\lambda h_{jf})$$
  3. 如果$W$,$H$收敛，则算法结束，输出$W$,$H$，否则回到步骤2.
  当我们拿到$W$,$H$后，就可以计算出每一个用户u对应的任意一个商品的排序分：${\overline{x}}_{ui}=w_u\bullet h_i$，最终选择排序分最高的若干商品输出。

参考文献

1.https://www.datalearner.com/paper_note/content/300025
2.https://www.cnblogs.com/pinard/p/9128682.html
3.https://www.jianshu.com/p/ba1936ee0b69
4.https://blog.csdn.net/sigmeta/article/details/80517828