AndrewNg - 线性回归【1】梯度下降

AndrewNg - 线性回归

---

经典的Ng房屋问题，给定数据集如下：

$$\begin{array}{c|c|c} \text{房屋面积} & \text{房间数量} & \text{价格} \\ \hline 2014 & 3 & 400 \\ 1600 & 3 & 220 \\ 2400 & 3 & 369 \\ 1416 & 2 & 232 \\ 3000 & 4 & 540 \\ \vdots& \vdots & \vdots\\ \end{array}$$
$x\in\mathbb{R}^2$， $x_1^{(i)}$表示房屋面积， $x_2^{(i)}$表示房间数量，首先我们会估计 $y$是$x$是一个线性函数： $h_\theta(x) = \theta_{(0)}+\theta_{(1)}x_1+\theta_{(2)}x_2$。其中 $\theta_i$为参数（也称为权重），为了更方便于表达，我们定义 $x_0=1$，所以有：
$$h_\theta(x)=\sum_{i=1}^n\theta_ix_i=\theta^Tx,$$
其中 $n$为输入向量中特征个数（不包含$x_0$）。那么对于给定的训练集，我们如何选择或学习得出 $\theta$？在这里我们选取的方法是让 $h_\theta(x)$尽量的接近于 $y$ ，所以我们得到成本函数（$cost \ function$-最小二乘法）如下： $$J(\theta)=\frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$$

最小均方差算法（ Least mean square）

我们的目标是选取可以使$J(\theta)$最小的的$\theta$。为了得到最终的$\theta$，一般我们会给$\theta$赋上初值，通过相关的算法对$\theta$迭代求值，知道$\theta$收敛。这里提及的是梯度下降法，迭代式如下：

$$\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta).$$
当然， $\theta_0,...,\theta_n$是同时迭代更新的。这里的 $\alpha$我们是用来控制学习速率的参数。当然写代码的时候式子中的偏导还得再求一下，为了计算方便起见，假设我们先只有一个样本 $(x,y)$，即 $J(\theta)$中的求和符号先忽略一下：
$$\begin{align} \frac{\partial}{\partial\theta_j}J(\theta)&=\frac{\partial}{\partial\theta_j}\frac{1}{2}(h_\theta(x)-y)^2\\ &=(h_\theta(x)-y)\frac{\partial}{\partial\theta_j}(h_\theta(x)-y)\\ &=(h_\theta(x)-y)\frac{\partial}{\partial\theta_j}\left(\sum_{i=0}^n\theta_ix_i-y\right)\\ &=(h_\theta(x)-y)x_j\\ \end{align}$$
所以对于一个训练样本来说，迭代式会变成： $$\theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x)^{(i)})x_j^{(i)}.$$
要将上边的迭代式拓展到含 $m$样本的训练集上，我们一般用到的有两种修改方法，其一如下：

$$\begin{aligned} &Loop\quad until \quad convergence: \quad\{\\ &\qquad \theta_j:=\theta_j+\alpha\sum_{i=1}^m(y^{(i)}-h_\theta(x)^{(i)})x_j^{(i)}\qquad (for\ every\ j). \\ &\} \end{aligned}$$

很明显这个算法每一次的迭代都要遍历整个训练集，所以起名叫 批量梯度下降。我们说沿着梯度方向总能够找到局部最优解（说明问题的优化与初值有关），而且我们这里的问题还是一个凸二次函数，说明它只有一个局部最优解就是全局最优解。



可以看到图中是初值为(48,30)时梯度下降法的迹。与批量梯度下降法对应， 随机梯度下降法相对来说更适合比较大的数据集：

$$\begin{aligned} &Loop\quad until \quad convergence: \quad\{\\ &\qquad for\ i\ to\ m\{\\ &\qquad\qquad \theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x)^{(i)})x_j^{(i)}\qquad (for\ every\ j). \\ &\qquad\}\\ &\} \end{aligned}$$

相比于批量梯度下降法每次都要遍历训练集才能更新 $\theta$来说，随机梯度下降立杆见影，每一步都会对 $\theta$有一个调整，不过其最后只能接近最优而到不了真正的最优。

下节预告

换一种方法，用公式直接推导出$\theta$的值，规范形方程（normal equations），简单粗暴！