《machine learning》2单变量线性回归

二、单变量线性回归Linear Regression woth One Variable

2.1 模型描述

训练数据集=>学习任务=>输出假设函数$h(x)$

• $m$ 训练样本数
• $x$ 输入变量/特征
• $y$ 输出变量
• $(x^{(i)},y^{(i)})$第i个样本

2.2 损失函数

选择合适的模型参数parameters使$(h(x)-y{)}^2$（预测值和真实值的误差）尽可能的小。
对于回归问题平方误差函数最常用的是平方误差函数： $$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x{)}^{(i)}-y^{(i)}{)}^2$$

2.3 损失函数直观理解

假设函数Hypothesis： $h_{\theta }(x)={\theta }_0+{\theta }_{x}x$
模型参数Parameters: ${\theta }_0,{\theta }_1$
损失函数Cost Function: $$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2$$
优化目标Goal：$minimize-J({\theta }_0,{\theta }_1)$
将${\theta }_0=0$，$h_{\theta }(x)={\theta }_{x}x$：

保留${\theta }_0$，$h_{\theta }(x)={\theta }_0+{\theta }_{x}x$:

2.5 梯度下降

函数function：$J({\theta }_0,{\theta }_1)$ (可应用与更多的参数)
目标want：$min-J({\theta }_0,{\theta }_1)$
Outline:

• 给定初始值${\theta }_0,{\theta }_1$（通常为0）
• 改变${\theta }_0,{\theta }_1$的值去减少$J({\theta }_0,{\theta }_1)$
  直到损失函数J得到最小值或局部最小值
  
  梯度下降：起点不同可能会得到完全不同的局部最优解
  数学原理：更新${\theta }_0,{\theta }_1$重复以下工作直到收敛
  {
  ${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$ (for j = 0 and j = 1)
  }
  其中的$\alpha$是学习率，$\alpha$越大，梯度下降越迅速。
  $\alpha$太小，梯度计算步数越多；太大则可能不收敛甚至发散
  注意在更新${\theta }_0,{\theta }_1$时必须两个paramaters同时更新。
  将${\theta }_0,{\theta }_1$分别求梯度后赋值给temp0和temp1之后，再将temp0和temp1同时赋值给${\theta }_0,{\theta }_1$。参数全部求完梯度之后同时赋值。
  正确做法：
  temp0 := ${\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)$
  temp1 := ${\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)$
  ${\theta }_0$ := temp0
  ${\theta }_1$ := temp1
  错误做法：
  temp0 := ${\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)$
  ${\theta }_0$ := temp0
  temp1 := ${\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)$
  ${\theta }_1$ := temp1
  在${\theta }_1$求梯度的时候，${\theta }_0$的值已经改变了，没做到同步更新。

2.6 梯度下降直观理解

简化函数：${\theta }_0=0$


当处于${\theta }_j$时函数J达到最小值，那么梯度下降公式${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_j)$ 导数部分为0，参数${\theta }_j$不再改变。
梯度下降算法：
接近最小点的过程中，导数值越来越小，步幅自动变小直到达到最小点步幅为0。

2.7 梯度下降的线性回归

$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x{)}^{(i)}-y^{(i)}{)}^2$$
$$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)=\frac{\partial }{\partial {\theta }_j}\ast \frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x{)}^{(i)}-y^{(i)}{)}^2=\frac{\partial }{\partial {\theta }_j}\ast \frac{1}{2m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2$$
$$j=0:\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x{)}^{(i)}-y^{(i)})$$
$$j=1:\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x{)}^{(i)}-y^{(i)})\ast x^{(i)}$$

“Batch”梯度下降：历遍了所有的训练数据集