吴恩达机器学习第二章学习笔记

单变量线性回归（linear regression with one variable）

$x^{(i)}$：输入变量
$y^{(i)}$：输出变量
$(x^{(i)},y^{(i)})$：训练范例
$m$：训练样本的数量
$h$(hypothesis)：假设函数 $h_{\theta }^{(x)}={\theta }_0+{\theta }_{1}x$（未知量为x）

代价函数（cost function）

$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }^{(x^{(i)})}-y^{(i)}{)}^2$
代价函数可以衡量假设函数的精度。
$J({\theta }_0,{\theta }_1)$取值最小，假设函数精度最高。（未知量为${\theta }_0,{\theta }_1$）这个过程可以称之为最小化（minimize）
在学习的时候你可能也会疑惑为什么分母不是m而是2m？这是因为无论是m还是2m，最终$\theta$的最优值是相同的，这里取2m，仅仅是为了下面梯度求导时能消去分母的2，让计算更方便。

梯度下降算法（gradient descent）

$\alpha$：学习速率（恒定的正数，不能过大也不能过小）
${\theta }_j:={\theta }_j-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_j}$（算法主要公式）
$:=$赋值语句（将右边的值赋给左边）
1：$temp0:={\theta }_0-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}$
2：$temp1:={\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}$
3：${\theta }_0:={\theta }_0-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}$
4：${\theta }_1:={\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}$
在使用该算法时，${\theta }_0,{\theta }_1$要同时更新（即严格遵守以上四步顺序）重复直至收敛

为什么梯度下降算法能找到局部最优点（${\theta }_0,{\theta }_1$）?

当${\theta }_0=0$时，算法公式为：${\theta }_1:={\theta }_1-\alpha \frac{\mathrm{d}J}{\mathrm{d}\theta }$
当${\theta }_1$选在最优点右侧时，图像如下所示：

（ps：$\frac{\partial J}{\partial \theta }$与$\frac{\mathrm{d}J}{\mathrm{d}\theta }$并没有本质不同，只是参数数量不同时选用不同的符号而已）
${\theta }_1$处的斜率是正数，$\alpha$同样是正数，${\theta }_1-\frac{\mathrm{d}J}{\mathrm{d}\theta }$数值会越来越小，所以会越来越接近最优点。
当${\theta }_1$选在最优点左侧时，图像如下所示：

${\theta }_1$的斜率是负数，$\alpha$是正数，${\theta }_1-\frac{\mathrm{d}J}{\mathrm{d}\theta }$数值会越来越大，所以会越来越接近最优点。
同理，${\theta }_0$不等于0时，该算法同样能一步步到达局部最优点。

为什么$\alpha$的是定值？

因为$\frac{\mathrm{d}J}{\mathrm{d}\theta }$的值会改变，$\frac{\mathrm{d}J}{\mathrm{d}\theta }$的绝对值会越来越小，直至$\frac{\mathrm{d}J}{\mathrm{d}\theta }=0$，${\theta }_1$到达最优点。

线性回归的梯度下降算法

由假设函数，代价函数，梯度求导算法联立，可得线性回归的梯度求导算法的总公式：
$temp0:={\theta }_0-\frac{\alpha }{m}{\sum }_{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)})$
$temp1:={\theta }_1-\frac{\alpha }{m}{\sum }_{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)})x^{(i)}$
${\theta }_0:=temp0$
${\theta }_1:=temp1$