Collaborative Filtering for Implicit Feedback Datasets结论公式推导

Collaborative Filtering for Implicit Feedback Datasets^[1]公式推导

精确反馈的模型

$$\underset{x^{\ast },y^{\ast }}{\min }\sum _{r_{u,i}\text{ is known}}(r_{u,i}-x_u^T{y}_i{)}^2+\lambda (\Vert x_u{\Vert }^2+\Vert y_i{\Vert }^2)\text{\hspace{1em}(1)}$$

隐式反馈模型

用户$u$对商品$i$的交互量用$r_{ui}$来表示，利用$p_{ui}$表示用户$u$对商品$i$的偏好，通过二元化$r_{u,i}$来获得。

$$p_{ui}=\{\begin{array}{ll}1& r_{ui}>0\\ 0& r_{ui}=0\end{array}$$

如果用户$u$与商品$i$进行了交互，则可以有一定的概率认为用户$u$喜欢商品$i$。
但是用户没有对某个商品产生正反馈，不一定是不喜欢这个商品。他可能根本就没看到这个商品或者因为价格或者其他限制原因使得他没有点开的意愿或者条件。

此外，用户的正反馈可能也不是因为喜欢，例如，用户可能仅仅因为停留在之前看过的节目的频道就看电视节目。

当$r_{ui}$增长的时候，我们有更坚定的理由去相信用户喜欢这个商品。在此我们引入变量$c_{ui}$来表示用户$u$对商品$i$产生的喜好$p_{ui}$的置信程度。

$$c_{ui}=1+\alpha r_{ui}$$

$\alpha$的初始值设置为40

模型的目标是为每个用户$u$找到可以代表它的向量$x_u\in {\mathbb{R}}^f$，以及每个商品的代表向量$y_i\in {\mathbb{R}}^f$，它们可以通过内积即$p_{ui}=x_u^T{y}_i$用来表达用户的喜好。可以称这些向量为用户因子和商品因子，这些向量将用户和商品拉入了一个可以直接比较的隐向量空间。

与传统的精确反馈的区别在于

1. 需要计算不同的置信程度
2. 优化的时候需要考虑所有的$u,i$对

我们需要进行最小化的损失函数为
$$\underset{x^{\ast },y^{\ast }}{\min }\sum _{u,i}{c}_{ui}(p_{ui}-x_u^T{y}_i{)}^2+\lambda (\Vert x_u{\Vert }^2+\Vert y_i{\Vert }^2)\text{\hspace{1em}(2)}$$
由于考虑到矩阵中的所有元素，$m\times n$很容易达到几十亿的级别，这样传统的梯度下降就不合适了。因此使用交替最小二乘法。

我们令$L(x_u,y_i)=\sum _{ui}{c}_{ui}(p_{ui}-x_u^T{y}_i{)}^2+\lambda (\Vert x_u{\Vert }^2+\Vert y_i{\Vert }^2)$

假设商品矩阵$Y$是确定的，对$x_u$求偏导

$$\frac{\partial L}{\partial x_u}=\left[\begin{array}{c}\frac{\partial L}{\partial x_{u1}}\\ \frac{\partial L}{\partial x_{u2}}\\ ⋮\\ \frac{\partial L}{\partial x_{uf}}\end{array}\right]=\left[\begin{array}{c}\sum _{i=1}^{n}2c_{ui}(p_{u,i}-x_u^T{y}_i)(-y_{i1})\\ \sum _{i=1}^{n}2c_{ui}(p_{u,i}-x_u^T{y}_i)(-y_{i2})\\ ⋮\\ \sum _{i=1}^{n}2c_{ui}(p_{u,i}-x_u^T{y}_i)(-y_{if})\end{array}\right]+\left[\begin{array}{c}2\lambda x_{u1}\\ 2\lambda x_{u2}\\ ⋮\\ 2\lambda x_{uf}\end{array}\right]$$

让偏导向量为0向量，也就是最后两个向量之和为0，那么可以将2消除。

$$\left[\begin{array}{c}\sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{i1})\\ \sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{i2})\\ ⋮\\ \sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{if})\end{array}\right]=\left[\begin{array}{c}\lambda x_{u1}\\ \lambda x_{u2}\\ ⋮\\ \lambda x_{uf}\end{array}\right]$$

我们来观察左边向量的形式：
设：
$$V=\left[\begin{array}{c}\sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{i1})\\ \sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{i2})\\ ⋮\\ \sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{if})\end{array}\right]$$

设矩阵$Y_{n\times f}$，每一行代表着商品的特征向量，$f$为向量空间的维度。也就是说$Y=\left[\begin{array}{c}{y}_1^T\\ y_2^T\\ ⋮\\ y_n^T\end{array}\right]$
论文中，也提出了$C_u$为一个包含置信度的对角矩阵
$$C_u=\left[\begin{array}{cccc}{c}_{u1}& & & \\ & c_{u2}& & \\ & & \ddots & \\ & & & c_{un}\end{array}\right]$$
这里用大写字母表示矩阵，小写字母表示向量，请不要混淆。

$$\begin{gathered} \sum _{i=1}^n{c}_{ui}(p_{ui}-x_u^T{y}_i)(y_{i1})={\left[\begin{array}{c}{c}_{u1}(p_{u1}-x_u^T{y}_1)\\ c_{u2}(p_{u2}-x_u^T{y}_2)\\ ⋮\\ c_{un}(p_{un}-x_u^T{y}_n)\end{array}\right]}^T\times \left[\begin{array}{c}{y}_{11}\\ y_{21}\\ ⋮\\ y_{n1}\end{array}\right] \\ =(C_u\times (p(u)-Y{x}_u){)}^T\times Y_{\ast ,1} \\ =Y_{\ast ,1}^T\times (C_u\times (p(u)-Y{x}_u)) \end{gathered}$$

$$\begin{gathered} V=\left[\begin{array}{c}{Y}_{\ast ,1}^T\times (C_u\times (p(u)-Y{x}_u))\\ Y_{\ast ,2}^T\times (C_u\times (p(u)-Y{x}_u))\\ ⋮\\ Y_{\ast ,n}^T\times (C_u\times (p(u)-Y{x}_u))\end{array}\right]=\left[\begin{array}{c}{Y}_{\ast ,1}^T\\ Y_{\ast ,2}^T\\ ⋮\\ Y_{\ast ,n}^T\end{array}\right]\times (C_u\times (p(u)-Y{x}_u)) \\ =Y^T\times (C_u\times (p(u)-Y{x}_u))=\lambda x_u \end{gathered}$$

可得：

$$Y^T{C}_{u}p(u)=(\lambda I+Y^T{C}_{u}Y)x_u⟺x_u=(\lambda I+Y^T{C}_{u}Y{)}^{-1}{Y}^T{C}_{u}p(u)$$

[1] Hu Y, Koren Y, Volinsky C. Collaborative filtering for implicit feedback datasets[C]//2008 Eighth IEEE international conference on data mining. Ieee, 2008: 263-272.