Machine Learning-Andrew Ng 课程第九周——Anomaly Detection & Collaborate Filtering

好久没写了…在因为第九周的课程逾期而疯狂补课之后，我又开始写周总结了，这一周的课程和作业并不难，只是collaborate filtering的概念我还是感觉很迷。废话不多说，这周作业里的注意的点有两个：

1. Collaborate Filtering代价函数的梯度计算

实际上和linear regression非常相似，只不过在Collaborate Filtering中，要同时学习$x^{(1)}...x^{(n_m)}$（特征）和${\theta }^{(1)}...{\theta }^{(n_u)}$（参数）；并且为了方便，将系数从原来的$\frac{1}{2m}$简化成了$\frac{1}{2}$。

代价函数的形式为：
$$J({\theta }^{(1)},...,{\theta }^{(n_u)},x^{(1)},...,x^{(n_m)})=\frac{1}{2}\sum _{i,j:r(i,j)=1}(X_{n_m\times n}({\Theta }_{n_u\times n}{)}^T-Y_{n_m\times n_u}{)}^2+\frac{\lambda }{2}\sum _i(x^{(i)}{)}^2+\frac{\lambda }{2}\sum _j({\theta }^{(j)}{)}^2$$

对每个参数求导，可得：
$$\frac{\partial J}{\partial {\theta }_k^{(j)}}=\sum _{i:r(i,j)=1}{x}_k^{(i)}(({\theta }^{(j)}{)}^T{x}^{(i)}-y(i,j))+\lambda {\theta }_k^{(j)}$$
$$\frac{\partial J}{\partial x_k^{(i)}}=\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y(i,j))+\lambda x_k^{(i)}$$

用Matlab实现如下：

prediction = X * Theta';
J = 1/2 * sum(sum((prediction.*(R == 1) - Y.*(R == 1)).^2))... 
    + lambda/2 * sum(X(:).^2)...
    + lambda/2 * sum(Theta(:).^2);
Theta_grad = (prediction.*(R == 1) - Y.*(R == 1))' * X + lambda * Theta;
X_grad = (prediction.*(R == 1) - Y.*(R == 1)) * Theta + lambda * X;

2. var(x)的用法

ex8.m中求高斯分布的参数时，涉及到方差的计算，作业要求方差前面的系数是$\frac{1}{m}$，而var(x)的默认系数是$\frac{1}{m-1}$。

var(x) % 或者var(x, 0)，默认，系数为1/(m-1)
var(x, 1) % 系数为1/m