使用微积分和线性代数的基础知识来推导线性回归

这里参考吴恩达的机器学习的1-5章,主要讲线性回归的应用。

1. 通过微分方法推导线性回归

这里主要讲解一个特征变量下的线性回归方法的使用：
假设函数(Hypothesis Function) : $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$，很显然它是一个线性函数。

其中 x 就是训练样本中的特征变量, y 就是对应于特征变量x的样本实际值，所以 $(x^{(i)},y^{(i)})$就表示样本集中的每一个样本点。
${\theta }_0,{\theta }_1$是两个参数, 接下来我们就会通过训练样本数据来计算出它们的具体值是多少。

我们知道 实际样本值$y和h_{\theta }(x)$的值是有偏差的, 那么我们的代价函数(Cost Function)如下:
$$J({\theta }_0,{\theta }_1)=1/2m\ast \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

上面这个代价函数就是计算整个训练样本集中的预测值与实际值的方差.
这里的m表示样本集的总数量.

下一步我们的目标就是找到这个代价函数的最小值 Minimize${}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$， 也就是找到一个误差最小,最接近于真实样本的情况。
目前这个代价函数有两个变量, ${\theta }_0,{\theta }_1$。如何找到这个凸函数的最小值呢？首先我们复习一下微分(导数)的原理, 根据费马引理和函数的极值定理1可知：

函数$f(x)$在$f^{\prime }(x_0)=0$处,存在极值(极大值或极小值)。
当$f^{\prime }(x)$ 在靠近$x_0$点时, “左负右正”( 即$x<x_0$时, $f^{\prime }(x)<0,x>x_0$时, $f^{\prime }(x)>0$), 那么在$x_0$处, f(x)存在极小值。

所以这里求出$J({\theta }_0,{\theta }_1)$ 分别对${\theta }_0,{\theta }_1$的偏导数, 得到偏导数接近于0时的 ${\theta }_0,{\theta }_1$, 那么它们就是我们要找的最好的假设函数的参数了。

根据复合函数的求导法则：

$\frac{dy}{dx}=\frac{dy}{du}\ast \frac{du}{dx}$
对${\theta }_0$求偏导数的结果为:$$\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=1/m\ast \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$
对${\theta }_1$求偏导数的结果为:$$\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=1/m\ast \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$$

梯度下降法(Gradient descent)

通过求代价函数的导数(偏导数), 逐步逼近(局部)最小值。
repeat until convergence {

同步更新$\theta$值，直到${\theta }_0,{\theta }_1$不再变化，也就说明它的偏导数接近于0了，所以这个式子减去偏导数的值不再变了。
$\alpha$是一个常量，这里叫学习率，表示每一次循环移动步伐的大小， $0<\alpha <1$，它通常设置为一个极小值，$\alpha =0.03$，如果它的值太大，有可能一下越过极小值(步子迈大了^_^)，往往预测不到最佳结果，太小的话，移动得很慢，梯度下降的效率会比较低。

${\theta }_0:={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
${\theta }_1:={\theta }_1-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$

}

下面图示梯度下降法的执行过程：

图1.1	图1.2	图1.3

• 图1.1所示$J({\theta }_1)$函数，当${\theta }_1$在最小值右侧时, $\frac{\partial }{\partial {\theta }_1}J({\theta }_1)\ge 0$，所以${\theta }_1$逐渐减小，由右向左移动，慢慢接近最小值;
• 图1.1所示$J({\theta }_1)$函数，当${\theta }_1$在最小值左侧时, $\frac{\partial }{\partial {\theta }_1}J({\theta }_1)\le 0$，所以${\theta }_1$逐渐增大，由左向右移动，慢慢接近最小值;
• 图1.2所示，${\theta }_1$越靠近最小值，它每次循环移动的步伐就越小，因为我们知道$J({\theta }_1)$的导数表示$J({\theta }_1)$函数切线的斜率，越接近最小值，它的斜率越小，直到趋近于0，所以这个算法有个非常好的特点就是我们不需要动态调小$\alpha$值，就可以达到越来越慢，以至于不会错过极小值所在的点。
• 图1.3所示，实际$J({\theta }_0,{\theta }_1),{\theta }_0,{\theta }_1$构成一个三维空间图形，该图描绘出真实的运动轨迹，也就是我们求偏导数的原因(参考偏导数的几何意义)。

多个特征变量的情况

上面我们讨论的时一个特征变量的情况, 我们也可以推导出有n个特征变量时的${\theta }_0,{\theta }_1,{\theta }_2,...{\theta }_n$ 的值。
上面的假设函数改成如下:
$h_{\theta }(x_0,x_1,...,x_n)={\theta }_0{x}_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$
上面的梯度下降法同步更新也改成如下：
${\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

其中$j=0,1,...,n$
${\theta }_0:={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$
${\theta }_1:={\theta }_1-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_1^{(i)}$
…
${\theta }_n:={\theta }_n-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_n^{(i)}$

2. 使用正规方程来推导线性回归

其实在线性代数中，正规方程是由正交投影(Orthogonal Projection)推导出来的，下面我们阐述一下这一过程。

正交补集(Orthogonal complement)

对于向量集合$S,S^{\perp }$，如果满足:
S ⊥ = { v : v ⋅ u = 0 , ∀ u ∈ S } S^{\perp}=\{v:v\cdot u=0,\forall u\in S\} S⊥={v:v⋅u=0,∀u∈S}

其中$v$是$S^{\perp }$中的任意向量，$u$是$S$中的任意向量
$v\cdot u=v^T\ast u$,即两个向量做Dot-Product

那么我们就说, 集合$S^{\perp }$是集合$S$的正交补集。

正交投影(Orthogonal Projection)

我们知道对于任意向量$u$都可以分解成任意两个向量相加，而正交投影是其中的一种分解方式，其定义如下：
对于任何一个向量$u$, 都可以分解成两个向量$w,z$ ,使得 $u=w+z,w\in W,z\in W^{\perp }$，并且$w\cdot z=0$，而且这种分解还是唯一的.，这一过程可以叫做正交投影。分解之后的这两个向量$w,z$在坐标系上看是互相垂直的。

正交投影过程	正交投影是所有分解中最近的	图4：证明过程(为什么最近)

图4就是证明为什么向量$w$是距离$u$最近的，也就是$u-w$的值最小。
向量$w$就是向量$u$在集合$W$中的投影，记作$w=U_W(u)$,和其它的投影比较起来它是唯一正交的。
已知正交分解$z=u-w$,任取一个向量$w^{\prime }\in W$，只要证明$z<|u-w^{\prime }|$成立，那么就说明$z$是最小的，其实从图中显而易见， 唯有$z$是垂直于$W$的，垂直的距离最短嘛。
根据$z\in W^{\perp }$，所以$z$与$W$中的任意向量做Dot-Product都是0，所以存在$(w-w^{\prime })\in W,(u-w)\cdot (w-w^{\prime })=0$。
根据Pythagorean Theorem(毕氏定理) $||u+v|{|}^2=||u|{|}^2+2u\cdot v+||v|{|}^2$，构造并证明出：$||u-w^{\prime }|{|}^2>||u-w|{|}^2$，所以$z$是最小的。

正规方程的推导过程

根据上面的知识点，下面我们来推导正规方程。
已知$C$是一个$n\ast k$的矩阵,且它的列向量构成的集合是集合$W$的一个basis，也就是说它的列向量都是线性无关(linear independent)的;
对于任意一个向量$u,w=U_W(u)$, $w$是向量$u$在集合$W$中的正交投影，$w\in W$;
证明推导过程:
$w=C\ast b,b$是任意一个向量,$b\in R^k$, 其实就是线性组合(linear combination)的过程, 集合$W$内的一个向量$w$ 一定可以用$W$的basis做线性组合得到.
$z=u-w$,$z\in W^{\perp }$ 。
那么: $w\cdot z=0$, 推出 $C\cdot (u-w)=0$, 因为 $C$中的列向量属于集合$W$， 而$u-w$ 属于集合$W^{\perp }$, 所以它们进行正交化操作一定是0,注意这里的0指的是0向量。
所以: $C^T\ast (u-w)=0$， 它俩相乘等于0向量;
推出: $C^T\ast u-C^T\ast w=0$;
推出: $C^T\ast u-C^T\ast (C\ast b)=0$;
推出: $C^T\ast u=C^T\ast C\ast b$，然后 两边同时乘以 $(C^T\ast C{)}^{-1}$ 得到:
$b=(C^T\ast C{)}^{-1}\ast C^T\ast u$
$w=C\ast (C^T\ast C{)}^{-1}\ast C^T\ast u$

其中$(C^T\ast C{)}^{-1}$是$(C^T\ast C)$的逆矩阵.
任何一个矩阵与其逆矩阵相乘都等于单位矩阵$I_n$，而$I_n$乘以任何矩阵都等于该矩阵本身。
这里注意：不是所有矩阵都可逆的，这里矩阵$C^T$就是不可逆的。

正规方程在线性回归中的应用

返回到上面的假设函数$h_{\theta }(x_0,x_1,x_3,x_4)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4$，我们的训练样本集中有多个特征变量$x_0,x_1,x_2,x_3,x_4$以及实际值$y$，样本集如下表格描述:

$x_0$	房屋尺寸(feet${}^2$) $x_1$	卧室数量 $x_2$	楼层数 $x_3$	房龄 $x_4$	价格($1000) $y$
1	2104	5	1	45	460
1	1416	3	2	40	232
1	1534	3	2	30	315
1	852	2	1	36	178
1	566	1	10	25	166
1	3534	7	7	30	609
1	1044	4	3	19	299

根据输入的特征参数值来预测房屋价格

根据上面的表格，我们可以构造出一个包含所有特征参数的矩阵:
$$X=\left[\begin{array}{ccccc}1& 2104& 5& 1& 45\\ 1& 1416& 3& 2& 40\\ 1& 1534& 3& 2& 30\\ 1& 852& 2& 1& 36\\ 1& 566& 1& 10& 25\\ 1& 3534& 7& 7& 30\\ 1& 3534& 7& 7& 30\end{array}\right]$$

房屋实际价格向量:
$$y=\left[\begin{array}{c}460\\ 232\\ 315\\ 178\\ 166\\ 609\\ 299\end{array}\right]$$

特征值参数:
$$\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ {\theta }_3\\ {\theta }_4\end{array}\right]$$

那么我们上面的假设函数可以改成如下:
$h_{\theta }(x_0,x_1,x_3,x_4)=X\ast \theta$
所以这里的$X$就相当于正规方程中的$C$，$\theta$相当于向量$b$，$y$相当于向量$u$。
$\theta =(X^{T}X{)}^{-1}{X}^{T}y$
$h_{\theta }(x_0,x_1,x_3,x_4)=X(X^{T}X{)}^{-1}{X}^{T}y$，就是房屋实际价格$y$在$X$上的正交投影，它和房屋实际价格$y$之间的差是最小的，所以也是最接近于$y$的值了。
那么我们在Octave/Matlab中直接执行如下命令就可以得到向量$\theta$的结果了:
>>pinv(X’ * X) * X’ * y
比起梯度下降法求$\theta$，正规方程是不是很简单。