吴恩达机器学习（二）—— 线性回归

线性回归是利用数理统计中回归分析来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

一、单变量线性回归

单变量线性回归(Univariate linear regression)又称一元线性回归(Linear regression with one variable)。

1.1 监督学习算法工作流程

1.2 线性回归模型表示

假设函数(Hypothesis) $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$，其中θ是模型参数，x是输入变量/特征。y是输出/目标变量。

1.3 代价函数

代价函数(Cost function)也叫平方误差函数或平方误差代价函数。它的作用是为我们的训练样本 ($x$，$y$) 选择${\theta }_0,{\theta }_1$，使得$h_{\theta }(x)$更接近于$y$。
代价函数：
$J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$
其中，m是训练样本的数量。我们的目标是$minimize$ $J\left({\theta }_0,{\theta }_1\right)$，
得到${\theta }_0,{\theta }_1$的值。

1.4 梯度下降

梯度下降(Gradient descent)是一个用来求函数极小值的算法，将使用梯度下降算法来求出代价函数$J\left({\theta }_0,{\theta }_1\right)$的最小值。但当选择不同的初始参数组合，可能会找到不同的局部最小值。梯度下降算法的实现：
Repeat until convergence $\{{\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left({\theta }_0,{\theta }_1\right)($ for $j=0$ and $j=1)\}$
其中， $\alpha$是学习率，用来控制梯度下降时的步长。若$\alpha$很大，则说明梯度下降会很迅速；若$\alpha$很小，则说明梯度下降会很缓慢。并且上式中${\theta }_0,{\theta }_1$需同时更新(Simultaneous update)。

对于上图来说，只有一个参数 ${\theta }_1$，当运行梯度下降接近局部最小值时，导数项$\frac{d}{d{\theta }_1}J\left({\theta }_1\right)$ 越小，步长 $\alpha$ 会自动减小，直到到达最低点 $(\alpha =0)$，不需要另外减小 $\alpha$ 。

梯度下降的缺点：
1.只能知道导数方向，不知道与最优点的距离；
2.不能保证全局最优性。

1.5 线性回归的梯度下降

线性回归模型:
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
代价函数：
$$J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$$
梯度下降算法:
Repeat until convergence $\{{\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left({\theta }_0,{\theta }_1\right)($ for $j=0$ and $j=1)\}$

用梯度下降算法实现线性回归模型代价函数的最小化:
$$\underset{{\theta }_0,{\theta }_1}{\min }J\left({\theta }_0,{\theta }_1\right)$$
推导可得 ${\theta }_0,{\theta }_1$ 的更新公式:

$\frac{\partial }{\partial {\theta }_j}J\left({\theta }_0,{\theta }_1\right)=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}{\sum }_{i=1}^m{\left({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}\right)}^2$

$\{\begin{array}{ll}{\theta }_{0}j=0:& \frac{\partial }{\partial {\theta }_0}J\left({\theta }_0,{\theta }_1\right)=\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\\ {\theta }_{1}j=1:& \frac{\partial }{\partial {\theta }_1}J\left({\theta }_0,{\theta }_1\right)=\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x^{(i)}\end{array}$

Repeat until convergence $\left\{\begin{array}{l}{\theta }_0:={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x^{(i)}\end{array}\right\}$

二、多变量线性回归

2.1 多维特征

假设函数 $h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n={\theta }^{T}X$, 其中 $n$ 是特征数量, $\theta$ 是模型参数, $x$ 是输入变量/特征, $\theta$ 和 $x$ 都是 $n+1$ 维向量。
$$X=\left[\begin{array}{c}{x}_0\\ x_1\\ \cdots \\ x_n\end{array}\right]\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ \cdots \\ {\theta }_n\end{array}\right]$$

2.2 多变量梯度下降

Hypothesis $:h_{\theta }(x)={\theta }^{T}X={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$
Parameters $:{\theta }_0,{\theta }_1,\dots ,{\theta }_n$
Cost function: $J(\theta )=J\left({\theta }_0,{\theta }_1,\dots ,{\theta }_n\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$
Gradient descent: Repeat $\left\{{\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )\right\}$
New algorithm $(n\ge 1):$ Repeat $\left\{{\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i))}\right\}$

2.2.1 特征缩放

特征缩放(Feature scaling)是为了确保特征在一个相近的范围内, 使得算法更快收敛。可以使用均值归一化的方法实现特征缩放。
均值归一化:
$$x_n=\frac{x_n-{\mu }_n}{S_n}$$
其中, ${\mu }_n$ 是平均值, $S_n$ 是标准差。

2.2.2 学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们可以通过绘制迭代次数和代价 函数的图来观察算法在何时趋于收敛。如果在一次迭代中, $J(\theta )$ 的值小于 $\frac{10^{-3}}{\epsilon }$, 则可以说此次迭代是收敛的。 学习率 $\alpha$ 的选择:
$\alpha$ 太小收敛很慢;
$\alpha$ 太大：每一次迭代中 $J(\theta )$ 可能不总是下降的，可能会导致最后不收敛；
选择 $\alpha$ 时, 可以尝试 $\dots ,0.001,0.003,0.01,0.03,0.1,0.3,1,\dots$ 等值。

2.3 特征和多项式回归

多项式回归可以用线性回归的方法来拟合，非常复杂的函数，甚至是非线性函数都可以。

假设函数 $h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3={\theta }_0+{\theta }_1($ feature $)+{\theta }_2(\text{ feature }{)}^2+{\theta }_3(\text{ feature }{)}^3$ 。其中, $x_1=($ feature $)，x_2=(\text{ feature }{)}^2，x_3=(\text{ feature }{)}^3$

2.4 正规方程

正规方程(Normal Equation)是一种求 $\theta$ 的解析解法, 它是通过求解方程 $\frac{\partial }{\partial {\theta }_j}J\left({\theta }_j\right)=0$ 来找出使 得代价函数最小的参数的 $\theta$ 不需要进行特征缩放。 使用正规方程解出: $\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$
$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$ 的推导过程:
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$$
将上式转化为矩阵表达形式：
$$\begin{array}{rl}J(\theta )& =\frac{1}{2}(X\theta -y{)}^T(X\theta -y)=\frac{1}{2}\left({\theta }^T{X}^T-y^T\right)(X\theta -y)\\ & =\frac{1}{2}\left({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-{\left(y^{T}X\right)}^T-y^{T}y\right)\end{array}$$

接下来对 $J(\theta )$ 求偏导(提示: $\frac{dAB}{dB}=A^T,\frac{d{X}^{T}AX}{dX}=2AX$ )
$$\begin{array}{c}\frac{\partial J(\theta )}{\partial \theta }=\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-{\left(y^{T}X\right)}^T-0\right)\\ =\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-X^{T}y-0\right)\\ =X^{T}X\theta -X^{T}y\\ \text{ 令 }\frac{\partial J(\theta )}{\partial \theta }=0,\text{ 则 }\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y\end{array}$$

梯度下降与正规方程的比较：

梯度下降	正规方程
需要选择$\alpha$	不需要选择$\alpha$
需要多次迭代	一次运算得出
当特征数量n大时也能较好适用	需要计算 ${\left(X^{T}X\right)}^{-1}$, 当特征数量n大时会很慢
适应于各种类型的模型	只适用于线性模型，不适合Logisic回归等其他模型