机器学习—推荐系统

推荐系统

上期内容

异常检测

问题举例

  假设我们有5部电影和4个用户，我们要求用户为电影打分，得到：

movie	A	B	C	D
Love at last	5	5	0	0
Romance forever	5	?	?	0
Cute puppies of love	?	4	0	?
Nonstop car chases	0	0	5	4
Swords vs. karate	0	0	5	?

可以看出，A、B两人更倾向于前三部那种爱情片，C、D两人更倾向于后两部动作片。
  为了方便接下来对于算法的介绍，这里引入一些符号：
  $n_u$代表用户数量；
  $n_m$代表电影数量；
  $r(i,j)=1$时表示用户$j$给电影$i$评过分；
  $y^{(i,j)}$代表用户$j$给电影$i$的评分；
  $m_j$代表用户$j$评过分的电影数；

基于内容的推荐系统

movie	A	B	C	D	x1	x2
Love at last	5	5	0	0	0.9	0
Romance forever	5	?	?	0	1.0	0.01
Cute puppies of love	?	4	0	?	0.99	0
Nonstop car chases	0	0	5	4	0.1	1.0
Swords vs. karate	0	0	5	?	0	0.9

其中，$x_1$、$x_2$代表电影的两个特征，分别是：romance和action。

基于电影特征推荐

  我们用${\theta }_j$表示用户$j$的参数向量；$x^{(i)}$表示电影$i$的特征向量；对于用户$j$和电影$i$，我们预测评分为$({\theta }^{(j)}{)}^T{x}^{(i)}$。针对用户$j$，该线性回归模型的代价函数可以表示如下：
$$mi{n}_{{\theta }_j}\frac{1}{2}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}({\theta }_k^{(j)}{)}^2$$
其中，$i:r(i,j)$表示我们只计算用户$j$评过分的电影。为了学习所有的用户，我们将所有用户的代价函数求和：
$$mi{n}_{({\theta }^{(1)},...,{\theta }^{(n_u)})}\frac{1}{2}\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$接下来用梯度下降算法求最优解：
$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha \sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}fork=0$$$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})fork\ne 0$$

基于用户参数推荐

  相反地，当我们拥有用户的参数时，我们可以学习得出电影的特征：
$$mi{n}_{x^{(1)},...,x^{(n_m)}}\frac{1}{2}\sum _{i=1}^{n_m}\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(i)}{)}^2$$

协同过滤

  在搭建一个推荐系统时，如果我们既没有用户参数，也没有电影的特征时，可以通过协同过滤算法来同时学习这两者。代价函数改为：
$$J(x^{(1)},...,x^{(n_m)},{\theta }^{(1)},...,{\theta }^{(n_u)})=\frac{1}{2}\sum _{(r:j):r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(i)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$对代价函数求偏导，结果如下：
$$x_k^{(i)}:=x_k^{(i)}-\alpha (\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}){\theta }_k^{(j)}+\lambda x_k^{(i)})$$$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})$$协同过滤算法使用步骤如下：

1. 初始化$X$、$\Theta$为一些随机小值
2. 使用梯度下降算法最小化代价函数
3. 训练完后，使用$({\theta }^{(j)}{)}^T{x}^{(i)}$为用户$j$给电影$i$评分

均值归一化

  如果我们新增一名新用户E，并且E未曾对任何电影进行评分，那我们的推荐过程可以如下进行：

1. 对已有用户评分结果进行均值归一化处理
2. 系统将会认为E对电影的评分是该电影的平均分
3. 接下来的步骤同上述推荐算法