【机器学习笔记】第14章：推荐系统

第14章：推荐系统

14.1 基于内容的推荐算法

在推荐系统中，主要有两种方法，基于内容的推荐算法和协同过滤算法，此文章采用电影推荐作为例子，初始作如下定义：

• $n_u$ — 用户数量
• $n_m$ — 电影数量
• $r(i,j)=1$ — 用户 $j$ 对电影 $i$ 进行了评价
• $y(i,j)$ — 用户 $j$ 对电影 $i$ 的评分
• $m^{(j)}$ — 用户 $j$ 评价了的电影数量
• ${\theta }^{(j)}$ — 拟合用户 $j$ 评价电影的曲线参数
• $n$ — 电影的特征数量

推荐系统的目标，就是通过用户已经评价的电影和电影的特征，预测用户未评价的电影的评分，由此进行推荐。

给出如下例子，基于内容的推荐算法已知每部电影的特征值：
对于用户 $j$ ，每一部的电影的特征为 $x$ ，用户的评分为 $y$ ，用数据集 { x ( 1 ) , y ( 1 ) } , . . . , { x ( n m ) , y ( n m ) } \{x^{(1)},y^{(1)}\},...,\{x^{(n_{m})},y^{(n_{m})}\} {x(1),y(1)},...,{x(nm​),y(nm​)} ，进行拟合，得到参数 ${\theta }^{(j)}$ ，对于需要预测的电影 $x_{pred}$ ，由 ${\theta }^T{x}_{pred}$ 得到评分，可根据预测的评分进行推荐。

单个用户的代价函数为：$$J({\theta }^{(j)})=\frac{1}{2}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$多个用户的代价函数为：$$J({\theta }^{(1)},...,{\theta }^{(n_u)})=\frac{1}{2}\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$梯度下降为：$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha \sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}(ifk=0)$$$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})(ifk\ne 0)$$注：此时的 $\theta$ 和 $x$ 都增加了偏置 ${\theta }_0$ 和 $x_0$ 。

14.2 计算电影特征

要求已知用户的参数 ${\theta }^{(j)}$ ，根据每个用户对电影的评价 $({\theta }^{(j)}{)}^{T}x$，拟合出电影 $x$ 的特征值。

单部电影的代价函数表示为：$$J(x^{(i)})=\frac{1}{2}\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{k=1}^n(x_k^{(i)}{)}^2$$多部电影的代价函数表示为：$$J(x^{(1)},...,x^{(n_m)})=\frac{1}{2}\sum _{i=1}^{n_m}\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(i)}{)}^2$$

所以，结合基于内容的推荐算法，我们可首先假设 $\theta$ ，然后拟合 $x$ ，再优化 $\theta$，$\to x\to \theta \to ...$

14.3 基于梯度下降的协同过滤算法（Collaborative filtering）

基于内容的推荐算法通过 $x$ 求解 $\theta$ ，计算电影特征通过 $\theta$ 求解 $x$ ，如此往复计算复杂度大，可将两个代价函数合并：$$J(x^{(1)},...,x^{(n_m)},{\theta }^{(1)},...,{\theta }^{(n_u)})=\frac{1}{2}\sum _{(i,j):r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(i)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$通过初始化 $x$ 和 $\theta$ 为较小的值，通过梯度下降降低代价函数：$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})$$$$x_k^{(i)}:=x_k^{(i)}-\alpha (\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}){\theta }_k^{(j)}+\lambda x_k^{(i)})$$注：此时的 $\theta$ 和 $x$ 都不需要偏置 ${\theta }_0$ 和 $x_0$ 。

14.4 低秩矩阵分解（Low rank matrix factorization）

如果对预测评分过程向量化，将评分表示为矩阵 $Y$ ，每一行为电影，每一列为用户，则$Y=\left[\begin{array}{ccc}{\theta }^{(1)}{x}^{(1)}& ...& {\theta }^{(n_u)}{x}^{(1)}\\ ...& & ...\\ {\theta }^{(1)}{x}^{(n_m)}& ...& {\theta }^{(n_u)}{x}^{(n_m)}\end{array}\right]$，$X=\left[\begin{array}{c}(x^{(1)}{)}^T\\ ...\\ (x^{(n_m)}{)}^T\end{array}\right]$，$\Theta =\left[\begin{array}{c}({\theta }^{(1)}{)}^T\\ ...\\ ({\theta }^{(n_u)}{)}^T\end{array}\right]$，则有$X\cdot {\Theta }^T=Y$

根据电影 $i$ 推荐相似的电影 $j$ 给用户，可取使得 ${\Vert x^{(i)}-x^{(j)}\Vert }^2$ 距离最小的 $j$。

14.5 均值归一化

若一个用户对任何一部电影都未评分，我们首先需要对$Y$矩阵进行均值归一化处理，将每一个用户对某一部电影的评分减去所有用户对该电影评分的平均值：
然后我们利用这个新的 $Y$ 矩阵来训练算法。
如果我们要用新训练出的算法来预测评分，则需要将平均值重新加回去。预测$({\theta }^{(j)}{)}^T{x}^{(i)}+{\mu }_i$，对于未对任何一部电影评分的用户，我们的新模型会认为她给每部电影的评分都是该电影的平均分。