Coursera ML笔记 -----week9-2 推荐系统

欢迎点击作者原文地址

推荐系统

• 基于内容的推荐系统
• 协同过滤
  
  • 基础款
  • 升级款
  • 协同过滤的向量实现
  • 类似产品推荐
  • 均值归一化

我们想要建立一个推荐系统，有这么两种方法:
1. 基于内容的推荐系统content-based recommendations
2. 协同过滤 collaborative filter

基于内容的推荐系统

我们想做的是我们能够根据用户以往对于电影的评分，来给用户推荐电影。

要实现上面的这个推荐系统，我们要做到两件事情：
1. 建立起一个用户对电影评分的模型
2. 根据用户评分的模型从用户没有看过的电影里面推荐合适的电影给用户

我们在建立用户对电影评分模型的时候，其实是在做两件事情：
1. 判断电影是什么类型的电影(基于内容)，也就是获取样本数据$x$
2. 在过去的历史中，用户对这一类型的电影给出了什么样的评价，也就是获取用户对不同类型电影的偏好，获取对每个类型评分的权重$\theta$,
(在我们给出的例子而言，我们的样本数据$x$已经直接给出，但是如果我们自己想要获取这样子的数据，我们应该怎么对电影的数据进行处理？)

我们先从单个用户的角度来尝试解决问题，很明显，我们可利用线性回归做预测的手段来对用户没有看过的电影做出评分预测。
我们将评分看作是$y$,基于内容构建特征向量$(x_0,x_1,x_2)$,其中$x_0=1$，求出对应的$\theta$。
设(电影为行，用户为列)
$n_u$是用户的数量
$n_m$是电影的总数
$m^{(j)}$是第$j$个用户看的电影数量
$r(i,j)$表示第$j$个用户是否看过第$i$部电影
$y(i,j)$表示第$j$个用户对第$i$部电影的评分($r(i,j)=1$)
$x^{(i)}$是电影$i$的特征向量，表示第$i$部电影的电影类型
$\theta^{(j)}$是用户$j$的参数向量，表示第$j$个用户对电影的偏好,

那么， 用户$j$ 对电影$x^{(i)}$的评分预测就是：$(\theta^{(j)} )^\mathrm Tx^{(i)}$
损失函数就是：

$$J(\theta^{(j)})=\frac{1}{2m^{(j)}}\sum_{i:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))^2 + \frac{\lambda}{2m^{(j)}} \sum_{i=1}^n (\theta^{(j)}_k)^2 \to \frac{1}{2}\sum_{i:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))^2 + \frac{\lambda}{2} \sum_{i=1}^n (\theta^{(j)}_k)^2$$
我们的optimization objective就是：
$$\min\limits_{\theta^{(j)}} J(\theta^{(j)})$$

推广到多个用户的情况，我们的optimization objective 就是：

$$\min\limits_{\theta^{(1)},...,\theta^{(n_u)}} J(\theta^{(1)},...,\theta^{(n_u)}) =\min\limits_{\theta^{(1)},...,\theta^{(n_u)}} \frac{1}{2}\sum_{j=1}^{n_u}\sum_{i:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))^2 + \frac{\lambda}{2} \sum_{j=1}^{n_u}\sum_{i=1}^n (\theta^{(j)}_k)^2$$
通过上式，我们利用梯度下降法就可以得到 $\theta^{(1)},...,\theta^{(n_u)}$
$$\theta^{(j)}_k:=\theta^{(j)}_k-\alpha \sum_{i:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))x_k^{(i)}\space \space (for \space k=0)$$
$$\theta^{(j)}_k:=\theta^{(j)}_k-\alpha \left ( \sum_{i:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))x_k^{(i)}+\lambda \theta_k^{(j)}\right )\space \space (for \space k\neq 0)$$
至此，我们的模型就已经建立完毕。

那么，对于用户没有看过的电影，我们就可以用我们的模型去对电影进行评价，根据每一个用户对该电影的预测评分的高低来决定要不要推荐这部电影给某个用户。

但是我们基于内容的推荐系统有一个很重要的前提就是，我们能够根据内容来提取出特征，也就是获取$x$。但如果很难提取或者提取的成本太大我们要怎么办，这就要用到另外一种方法——协同过滤了。

协同过滤

协同过滤的最大一个特点就是，它可以自动地找到合适的特征！并且在升级款的协同过滤中，$x\in \mathbb R^n,\theta \in \mathbb R^n$,前面所用到的$x_0$和对应的$\theta_0$都被去掉了，因为如果特征向量中真的有$x_i=1$的需求，那么协同过滤会自己去发现这样子的特征，不用我们再硬性制定。

我们这里提到的协同过滤有两个版本：基础款和升级款

基础款

对单部电影，给定$\theta^{(1)},...,\theta^{(n_u)}$，学习参数$x^{(i)}$：

$$\min\limits_{x^{(i)}} \frac{1}{2}\sum_{j:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))^2 + \frac{\lambda}{2} \sum_{k=1}^n (x^{(i)}_k)^2$$
对于所有电影而言，给定 $\theta^{(1)},...,\theta^{(n_u)}$，学习参数 $x^{(1)},...,x^{(n_m)}$
$$\min\limits_{x^{(1)},...,x^{(n_m)}} \frac{1}{2}\sum_{i=1}^{n_m}\sum_{j:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))^2 + \frac{\lambda}{2} \sum_{i=1}^{n_m}\sum_{k=1}^n (x^{(i)}_k)^2$$

这就是协同过滤，每一个用户在给电影打分时，都有助于算法去寻找到更有效的特征，从而给提升每一个用户的推荐体验。

和前面基于内容的推荐系统相比较，很显然
基于内容的推荐系统是$x^{(1)},...,x^{(n_m)}$已知，估计特征$\theta^{(1)},...,\theta^{(n_u)}$
协同过滤是$\theta^{(1)},...,\theta^{(n_u)}$已知，估计参数$x^{(1)},...,x^{(n_m)}$

也就是说我们知道了$\theta$,就可以估计$x$。知道了$x$,也就可以估计$\theta$。
那么在给用户推荐时，我们就有这样子的一个流程：
随机初始化$\theta$,然后求$x$,然后求好一点的$\theta$,继续求好一点的$x$… … 也就是$random \space initial \space \theta \to x \to \theta \to x \to \theta \to x ...$

升级款

基础款的协同过滤是要不断来回折腾的，有没有什么办法能够不这么费力呢？这就引入了我们的升级款的协同过滤，能够同时调整$x$和$\theta$。

$$J(x^{(1)},...,x^{(n_m)},\theta^{(1)},...,\theta^{(n_u)}) = \frac{1}{2}\sum_{(i,j):r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))^2 + \frac{\lambda}{2} \sum_{j=1}^{n_u}\sum_{i=1}^n (\theta^{(j)}_k)^2 + \frac{\lambda}{2} \sum_{i=1}^{n_m}\sum_{k=1}^n (x^{(i)}_k)^2$$
$$\min\limits_{\begin{aligned}x^{(1)},...,x^{(n_m)} \\ \theta^{(1)},...,\theta^{(n_u)}\end{aligned}} J(x^{(1)},...,x^{(n_m)},\theta^{(1)},...,\theta^{(n_u)})$$
其中 $x\in \mathbb R^n,\theta \in \mathbb R^n$

于是我们就有了以下的协同过滤算法：
1. 随机小值初始化x^{(1)},…,x^{(n_m)},\theta^{(1)},…,\theta^{(n_u)}
2. 利用梯度下降法(或其他方法)，最小化损失函数$J(x^{(1)},...,x^{(n_m)},\theta^{(1)},...,\theta^{(n_u)})$
$\forall j = 1,...,n_u, i = 1,...,n_m$

$$\begin{aligned} x^{(i)}_k := x^{(i)}_k-\alpha \left ( \sum_{j:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))\theta^{(j)}_k+\lambda x^{(i)}_k\right )\\ \theta^{(j)}_k:=\theta^{(j)}_k-\alpha \left ( \sum_{i:r(i,j)=1} ((\theta^{(j)} )^\mathrm Tx^{(i)} - y(i,j))x_k^{(i)}+\lambda \theta_k^{(j)}\right ) \end{aligned}$$
3. 用户 $j$对于电影$i$的评分预测是： $(\theta^{(j)})^ \mathrm T x^{(i)}$

协同过滤的向量实现

$Y \in \mathbb R^{n_m \times n_u}$
预测评分结果：

$$X\Theta^ \mathrm T= \begin{bmatrix} (\theta^{(1)})^\mathrm T(x^{(1)}) & (\theta^{(2)})^\mathrm T(x^{(1)}) & \cdots & (\theta^{(n_u)})^\mathrm T(x^{(1)})\\ (\theta^{(1)})^\mathrm T(x^{(2)}) & (\theta^{(2)})^\mathrm T(x^{(2)}) & \cdots & (\theta^{(n_u)})^\mathrm T(x^{(2)})\\ \vdots & \vdots & \cdots & \vdots\\ (\theta^{(1)})^\mathrm T(x^{(n_m)}) & (\theta^{(2)})^\mathrm T(x^{(n_m)}) & \cdots & (\theta^{(n_u)})^\mathrm T(x^{(n_m)}) \end{bmatrix}$$
其中
$$X = \begin{bmatrix} (x^{(1)})^\mathrm T \\ (x^{(2)})^\mathrm T \\ \vdots \\ (x^{(n_m)})^\mathrm T \end{bmatrix}, \Theta = \begin{bmatrix} (\theta^{(1)})^\mathrm T \\ (\theta^{(2)})^\mathrm T\\ \vdots\\ (\theta^{(n_u)})^\mathrm T \end{bmatrix}$$
另外，我们将矩阵 $X\Theta^ \mathrm T$叫做Low Rank Matrix (Factorization)

类似产品推荐

主要以产品特征向量之间的距离$\|x^{(i)} - x^{(j)}\|^2$为依据,距离越小，相似度越高！

均值归一化

在进行推荐时，我们可能碰到这样子的一个情况：对于一个新的用户，他没有对任何电影进行评分，我们应该如何进行推荐？
对一个新用户来讲，他的$\theta$也是由$min J$来计算，但是因为这个用户的$r(i,j)=0$,那么$J$的第一项是没有意义的，那么$\theta$主要就由$\frac{\lambda}{2} \sum_{j=1}^{n_u}\sum_{i=1}^n (\theta^{(j)}_k)^2$这项决定，也就是要有$min \sum_{k=1}^n \theta_k^2$。从而$\forall \theta_k = 0$，此时对于任意一部电影，有$(\theta^{(j)})\mathrm Tx^{(i)} = 0$。那这是什么意思呢，就是该用户对所有类型的电影都一视同仁，没有偏好。我们说这样子的人不是不存在，但是我们更多地是希望能够具有一般性。所以，我们要用到均值归一化的手段来对数据$Y$进行预处理。

1. 我们对评分矩阵$Y$的每一行取均值$\mu$，也就是求每一部电影的所有评分的均值(基于看过的用户数量平均)。
   • 用$Y-\mu$代替原来的$Y$,代入$J$进行$\Theta,X$的计算。
   • 预测评分：$(\theta^{(j)})\mathrm Tx^{(i)}+\mu$

   • 不过上面的这个步骤略繁琐了，一句话概括就是：用当前看过该电影的用户的评分均值来做为新用户对该电影的预测！