Machine Learning-Andrew Ng 课程第一、二周——梯度下降法（单变量、多变量）

---

写这个博客是因为最近我在Coursera上学习吴恩达的机器学习课程，为了巩固所学，记录在学习中遇到的一些问题。之后每一周都会在这里进行分享。

第一、二周的内容是围绕线性回归展开的，其中最重要的一个部分就是梯度下降法(Gradient Descent)，这是一个用来求解假设$h_{\theta }(x)$中参数$\theta$的算法。下面就是我在学习梯度下降法时遇到的一些值得注意的点。

1. Simultaneous Update

梯度下降法中，需要通过不断迭代更新参数$\theta$（每一次迭代可能会用到所有训练样本，也有可能只用到一个训练样本，这就是批梯度下降和随机梯度下降的区别，这将会在第3点讲到），直到cost function $J_{\theta }(x)$收敛。在更新过程中，$\theta$中的所有参数$[{\theta }_0{\theta }_1...{\theta }_n]$需要遵循Simultaneous Update的规则，即同时更新，以单变量的梯度下降为例，令假设为$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1$，则梯度下降过程如下：
$$tem{p}_0:={\theta }_0-\alpha \frac{\partial J_{\theta }(\mathbf{x})}{\partial {\theta }_0}$$
$$tem{p}_1:={\theta }_1-\alpha \frac{\partial J_{\theta }(\mathbf{x})}{\partial {\theta }_1}$$
$${\theta }_0:=tem{p}_0,{\theta }_1:=tem{p}_1$$
之所以采取中间变量，是因为在一次迭代过程中，所有式子里$J_{\theta }$都是一样的，也就是说，${\theta }_0$更新后，不能立刻将$J_{\theta }$中的${\theta }_0$替换然后用替换后的$J_{\theta }$用去更新${\theta }_1$，而应该将${\theta }_0$存储到某个中间变量中（如上述的$tem{p}_0$），继续用$J_{\theta }$更新，直到该次迭代结束，再将中间变量的值赋给$\theta =[{\theta }_0{\theta }_1...{\theta }_n]$，完成更新，再开始下一次的迭代。

2. 梯度下降法中的减号

为什么在梯度下降法的公式中要用减号而不是加号呢？
$${\theta }_i:={\theta }_i-\alpha \frac{\partial J_{\theta }(\mathbf{x})}{\partial {\theta }_0}$$
这个问题可以用画图的问题去解决：

如图，横坐标为$\theta$，纵坐标为$J_{\theta }$，为了讲述方便，设$\theta$为标量，即只有一个参数。$J_{\theta }$是cost function，$P_1$和$P_2$分别代表某次迭代前的$\theta i$，$P_3$和$P_4$分别代表该次迭代后的${\theta }_{i+1}$。

可以看出，$P_1$点的梯度是负的，假设梯度下降法的公式中用了加号，又因为$\alpha$为正值，那么${\theta }_{i+1}$就会比$\theta i$小，反而是向着与最优点相反的方向前进，而我们是想尽快到达最优点，所以这与我们的目标相反。

而如果梯度下降法的公式中用了减号，那么${\theta }_{i+1}$就会比$\theta i$大，是朝着最优点的方向前进的，符合我们的要求。

$P_3$和$P_4$的例子同理。综上所述，减号是为了确保每一次迭代都向着最优值的方向前进。

3. 批(Batch)梯度下降和随机(Stochastic)梯度下降

所谓批梯度下降，即每次迭代更新$\theta$时都用到所有的训练样本：
$${\theta }_i:={\theta }_i-\alpha \sum _{j=1}^m({\theta }_i{x}_i^{(j)}-y^{(j)})x_i^{(j)}$$
$m$是训练样本数量，$i$是$\theta$和$x$的下标（线性回归的假设$h_{\theta }={\theta }_0{x}_0+{\theta }_1{x}_0+...+{\theta }_n{x}_n$）
但是当训练样本数量太大时，这样的迭代速度就比较慢了，所以有了随机梯度下降法，一次迭代只用一个样本：
$${\theta }_i:={\theta }_i-\alpha ({\theta }_i{x}_i^{(j)}-y^{(j)})x_i^{(j)}$$
在样本数量足够大的情况下，一轮迭代只用一个样本，既可以达到足够的迭代次数，也大大减少了运算负担。虽然这样做会使梯度下降的过程更加“曲折”，但最后仍会趋向最优值。

4. Normalized Features

在多变量梯度下降中，会涉及到多个不同的特征，这些特征不一定都是相同的数量级，比如在预测房价的问题中，房屋面积、卧室数量这两个特征就不是一个数量级。为了使梯度下降更快，我们需要对特征进行归一化。
设特征为$x_1$、$x_2$…$x_n$（$x_0=1$，因此无需归一化），归一化公式如下：
$$x_i:=\frac{x_i-{\mu }_i}{{\sigma }_i}$$
其中${\mu }_i$是训练样本中特征$x_i$对应的那一列的平均值，${\sigma }_i$则是相对应的标准差（极差也可以）。

这里尤其需要注意的是：在已经得到最优参数，进行预测时，输入也要做归一化！否则输出不正确！（因为参数都是根据归一化特征得到的）

5. ${\theta }^T\mathbf{x}$和$X\theta$之间的区别

${\theta }^T\mathbf{x}$：只有一个参数和一种特征的情况下会使用，多数情况下只是为了讲解方便才会使用，通常情况下都是多参数。
$$\theta =[{\theta }_0{\theta }_1...{\theta }_n{]}^T$$
$$\mathbf{x}=[x_0{x}_1...x_n{]}^T$$
$$\therefore {\theta }^T\mathbf{x}={\theta }_0{x}_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$$

$X\theta$：现实问题中，通常有许多特征，所以会将所有特征所有训练样本放在同一个矩阵$X$中：
$$X=\left[\begin{array}{ccccc}{x}_0^{(1)}& x_1^{(1)}& x_2^{(1)}& ...& x_n^{(1)}\\ x_0^{(2)}& x_1^{(2)}& x_2^{(2)}& ...& x_n^{(2)}\\ x_0^{(3)}& x_1^{(3)}& x_2^{(3)}& ...& x_n^{(3)}\\ ...& ...& ...& ...& ...\\ x_0^{(m)}& x_1^{(m)}& x_2^{(m)}& ...& x_n^{(m)}\end{array}\right]$$
所以
$$X\theta =\left[\begin{array}{c}{\theta }_0{x}_0^{(1)}+{\theta }_1{x}_1^{(1)}+{\theta }_2{x}_2^{(1)}+...+{\theta }_n{x}_n^{(1)}\\ {\theta }_0{x}_0^{(2)}+{\theta }_1{x}_1^{(2)}+{\theta }_2{x}_2^{(2)}+...+{\theta }_n{x}_n^{(2)}\\ {\theta }_0{x}_0^{(3)}+{\theta }_1{x}_1^{(3)}+{\theta }_2{x}_2^{(3)}+...+{\theta }_n{x}_n^{(3)}\\ ...\\ {\theta }_0{x}_0^{(m)}+{\theta }_1{x}_1^{(m)}+{\theta }_2{x}_2^{(m)}+...+{\theta }_n{x}_n^{(m)}\end{array}\right]$$
因为$X$是$m\ast (n+1)$的矩阵，$\theta$是$(n+1)\ast 1$的向量，${\theta }^{T}X$是无法运算的，所以是$X\theta$。