吴恩达机器学习——第17章 推荐系统

1、概述

推荐系统是现实生活中应用最广泛的积极学习问题，通过对历史数据的分析，把用户感兴趣的商品、服务推荐给用户。

2、基于内容的推荐算法

基于内容的推荐算法，其实就是已知商品的特征，根据特征建立模型，实现推荐系统的方式。
我们以一个案例来介绍推荐算法，这个案例讲贯穿整章内容。

2.1 电影推荐案例

介绍一下上述表格的组成部分：

• 第一列：代表电影的名称，一共有5个电影。
• 第二列：分成4个小列，代表每个人对各个电影的评分。问号代表用户没有进行评分。
• 第三列：电影的特征值，$x_1$代表电影是爱情电影的概率；$x_2$代表是动作电影的概率。

2.2 符号说明

为了描述方便，我们把本章使用到的符号做个定义：

• $n_n$：用户数量。
• $n_m$：电影数量。
• r(i,j)=1：代表用户j对电影i进行了评价。
• y(i,j)：代表用户j对电影i的评分。
• $m^{(j)}$：代表用户j评价的电影数量。
• ${\theta }^{(j)}$：用户j的向量参数。
• $x^{(i)}$：电影i的特征向量。
• $n_u$：代表$\theta$的数量。
• $n_m$：代表特征x的数量。

2.3 基本原理

我们假设用户j对电影i的评分为：$({\theta }^{(j)}{)}^T\ast X^{(i)}$。具体原因，恕我无可奉告。

在已知$\theta$和X的前提下，就能计算每个用户对每个电影的评分了。
这就是基于内容的推荐算法。

那$\theta$如何计算呢，请看下节。

2.4 $\theta$的计算

$\theta$ 是拟合参数，需要保证预测值与真实值最接近的情况下，求最小值，公式为：

$$mi{n}_{{\theta }_j}：\frac{1}{2m^{(j)}}\sum _{i:r(i,j)=1}(({\theta }^j{)}^T{X}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2m^{(j)}}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$

$m^{(j)}$代表用户评价的电影的数量，是一个常量，可以从商户公式中去掉：
$$mi{n}_{{\theta }_j}：\frac{1}{2}\sum _{i:r(i,j)=1}(({\theta }^j{)}^T{X}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$

求所有的$\theta$值：
$$J({\theta }^{(1)},{\theta }^{(2)},{\theta }^{(3)}......{\theta }^{(n_u)})=\frac{1}{2}\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}(({\theta }^j{)}^T{X}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$

通过梯度下降的方式来计算$\theta$：
${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha ({\sum }_{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{X}^{(i)}-y^{(i,j)})x_k^{(i)})(fork=0)$
${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha ({\sum }_{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{X}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})(fork!=0)$

3、协同过滤

上面介绍的是已知特征的情况下，可以推导出$\theta$，从而构建推荐模型。
本节讲的是另外一种情况，假设$\theta$是已知的，特征是未知的，通过$\theta$来自动构建特征的过程，这种方式称为协同过滤。

3.1 前提

前提：每个用户都对数个电影进行了评分，通过观察大量的数据，得到每个电影的特征值，相当于每个用户都在协助改进算法。

3.2 原理

根据之前的定义我们知道用户j对电影i的评分为$({\theta }^{(j)}{)}^T{X}^{(i)}$，现在已知$\theta$、评分求解X，则公式为：

$mi{n}_x^{(i)}$:$\frac{1}{2}{\sum }_{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{X}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}{\sum }_{k=1}^n(x_k^{(i)}{)}^2$

求解所有的X：
$mi{n}_{x^{(1)},x^{(2)}...x^{(n_m)}}$：$\frac{1}{2}{\sum }_{i=1}^{n_m}{\sum }_{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{X}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}{\sum }_{i=1}^{n_m}{\sum }_{k=1}^n(x_k^{(i)}{)}^2$

3.3 计算步骤

1. 先取一个随机的$\theta$
2. 根据上述公式计算出X。
3. 对$\theta$进行优化。
4. 重新计算x
5. …

3.4 同时计算$\theta 、X$

有一种同时计算$\theta X$的方式，公式为：
$$J(x^{(1)},x^{(2)},x^{(3)}...,x^{(n_m)},{\theta }^{(1)},{\theta }^{(2)},{\theta }^{(3)}......{\theta }^{(n_u)})=\frac{1}{2}\sum _{(i,j):r(i,j)=1}(({\theta }^j{)}^T{X}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(i)}{)}^2$$

注意：该算法中，不包含$x_0{\theta }_0$的值。

计算步骤为：

1. 随机初始化$\theta x$为较小的值。
2. 使用梯度下降算法优化$\theta x$。

${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha ({\sum }_{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{X}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})$

$x_k^{(i)}:=x_k^{(i)}-\alpha ({\sum }_{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{X}^{(i)}-y^{(i,j)}){\theta }_k^{(j)}+\lambda X^{(i)})$

4、矢量化实现

矢量化是一种表示方式的变化。

我们来看一下上面的这张图：

1. Y：每行代表每个用户对一个电影的评分结果。
2. Predicted ratings：预测的公式，$({\theta }^{(j)}{)}^2{x}^{(i)}$。用这个来预测Y的值。
3. 假设X $\Theta$ 为两个矩阵，则$Y=X{\Theta }^T$
   这就是矢量化表示方式，也称为“低秩矩阵分解算法”。

5、均值归一化

有些用户从来不对电影进行评分，针对于这种用户，如何进行推送呢？

通过上面的方式，因为r(i,j)!=1，所以该用户对所有电影的评分结果计算出来都是0，这对于推荐系统没有任何意义，而均值归一化是一种解决思路。

均值归一化：就是计算所有用户对电影的评分的平均值，作为该用户的评分返回。

介绍一下上图的元素：

1. Y：代表用户对电影的评分，可以看出最后一个用户，没有进行任何评分。
2. $\mu$代表每个电影评分的平均值。
3. 使用Y减去平均值得到新的Y。
4. 预测评分的公式为：$({\theta }^{(j)}{)}^T{x}^{(i)}$，由于每个y值都减去了平均值，所以公式需要加上平均值：$({\theta }^{(j)}{)}^T{x}^{(i)}+{\mu }_i$
5. 所以没有评分的用户的评分：$({\theta }^{(j)}{)}^T{x}^{(i)}+{\mu }_i=0+{\mu }_i={\mu }_i$