第二章 单变量线性回归

第二章 单变量线性回归

2.1 模型描述 Model representation

• 房价模型：已知样本数据集（训练集）中的房子对应的面积和价格，学习任何预测房价（输出一个假设函数 hypothesis）。

  监督学习模型，回归模型（预测连续值）

• 定义符号：
  1. $m$ 表示数据集训练样本集的数量
  2. $x$ 表示输入变量/特征
  3. $y$ 表示输出变量/目标
  4. $(x,y)$ 表示一个训练样本
  5. $(x^{(i)},y^{(i)})$ 表示特定样本，其中 ${\cdot }^{(i)}$ 表示索引
• 单变量线性回归 Univariate linear Regression：预测线性函数 $h(x)={\theta }_0+{\theta }_{1}x$

2.2 代价函数 Cost function

假设函数 Hypothesis：$h(x)={\theta }_0+{\theta }_{1}x$

目标：合适的选择模型参数 ${\theta }_i$

• 解决最小化问题：尽量减少预测价格和实际卖出价格的差的平方和
  $$\text{minimize }{\theta }_0,{\theta }_1\frac{1}{2m}\sum _{i=1}^m{\left(h(x^{(i)})-y^{(i)}\right)}^2$$

• 代价函数 Cost Function(平方误差函数)：

  • 定义：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m{\left(h(x^{(i)})-y^{(i)}\right)}^2,h(x)={\theta }_0+{\theta }_{1}x$

  • 使用：

    Hypothesis：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

    Parameters：${\theta }_0,{\theta }_1$

    Cost Function：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m{\left(h(x^{(i)})-y^{(i)}\right)}^2$

    Goal：$\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$

    • 首先简化假设函数(使 ${\theta }_0=0$)：$h={\theta }_{1}x$
    • 根据不同斜率 ${\theta }_1$，得到 $J$ 关于 ${\theta }_1$ 的图像

• 当 ${\theta }_0\ne 0$时，可以绘制 $J$ 关于 ${\theta }_1$ 的三维图像(等高图像 Contour Figures)

2.3 梯度下降 Gradient Descent

目的：最小化函数值

• 定义：反复迭代 ${\theta }_j$ 直到收敛 ${\theta }_i:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)(\text{for }j=0\text{ and }j=1)$，其中 $\alpha$ 称为学习速率 learning rate，用来控制梯度下降时的迈步大小

  $:=$ 赋值 Assignment

  $=$ 判等 Truth Assertion

  • 重点：同时更新 simultaneous updates ${\theta }_0,{\theta }_1$
    $$\text{temp0}:={\theta }_0-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$$
    

• 实例观察更新过程：当只有一个参数 ${\theta }_1$ 时

  • 目标： $\underset{{\theta }_1}{\min }J({\theta }_1),{\theta }_1\in R$

  • 更新：${\theta }_1:={\theta }_1-\alpha \frac{d}{d{\theta }_1}J({\theta }_1)$

  • 注意：

    1. 初始 ${\theta }_1$ 的选择不影响局部结果
    2. 若 $\alpha$ 太小，每一次更新速度太慢；若 $\alpha$ 太大，可能导致原理最优点(无法收敛)

  • 疑问：若学习速率 $\alpha$ 不变，梯度下降法每次步长不变吗，如何保证一定收敛到最优解？

    解：由于越靠近最优解，$\frac{d}{d\theta }J(\theta )$ 会越小。故 $\alpha$ 不变时，梯度下降法将自动减小步长。当 ${\theta }_1$ 为局部最优解时，$\frac{d}{d\theta }J(\theta )=0$ 使得 ${\theta }_1$ 不变

2.4 线性回归中的梯度下降法 Gradient descent for linear regression

• Batch 梯度下降法：每一步下降均遍历整个数据集

  • 计算步骤：

    • $⨀$ 1.计算导数项：$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)=\frac{\partial }{\partial {\theta }_j}\cdot \frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2=\frac{\partial }{\partial {\theta }_j}\cdot \frac{1}{2m}\sum _{i=1}^m{\left({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}\right)}^2$
      $$\begin{array}{rl}& j=0:\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\\ & j=1:\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\cdot x^{(i)}\end{array}$$

    • $⨀$ 2.运用梯度下降法：重复计算直到收敛（一定要同时更新）
      $$\begin{array}{rl}& {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\\ & {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\cdot x^{(i)}\end{array}$$

  • 注意：由于线性回归代价函数的定义，所有代价函数(平方误差函数)均为凸函数 Convex function，可理解为弓形函数 Bow shaped function。于是代价函数只有全局最优解，而不存在错误的局部最优解，因此一定可以运用梯度下降法找到正确答案。