【从线性回归到BP神经网络】第二部分：线性回归

本文主要参考文献如下：
1、吴恩达CS229课程讲义。
2、（美）S.Chatterjee等，《例解回归分析》（第2章），机械工业出版社。
3、周志华. 《机器学习》3.2.清华大学出版社。
4、（美）P.Harrington，《机器学习实战》人民邮电出版社。

1、代价函数

  我们先考虑只有单个数据对的情况，即$\mathbf{x}=[1,x_1,x_2,\dots ,x_n]$为输入的属性向量，其中$n$为属性的个数，$y$为与$\mathbf{x}$对应的输出函数值。我们希望能够用$\mathbf{x}$的线性函数来预测$y$的值，即
$$\begin{array}{rl}{h}_{\theta }(\mathbf{x})& ={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n\\ & =\sum _{j=1}^n{\theta }_j{x}_j\\ & ={\mathbf{\theta }}^{\mathrm{T}}\mathbf{x},\end{array}\text{\hspace{1em}(1)}$$这里，$\mathbf{\theta }=[{\theta }_0,{\theta }_1,\dots ,{\theta }_n{]}^{\mathrm{T}}$为参数向量。显然，我们希望通过选择合适的参数$\mathbf{\theta }$，使得$h_{\mathbf{\theta }}(\mathbf{x})$能够尽量接近$y$的值。
  那么如何来定义“接近”的程度呢？采用的就是cost function（代价函数）。常用的一种cost function的定义，就是均方值
$$J(\mathbf{\theta })=\frac{1}{2}[h_{\theta }(\mathbf{\theta })-y{]}^2\text{\hspace{1em}(2)}$$我们推广到有$m$个数据对的情况，此时的代价函数为
$$J(\mathbf{\theta })=\frac{1}{2m}\sum _{i=1}^m[h_{\theta }({\mathbf{x}}^{(i)})-y^{(i)}{]}^2.\text{\hspace{1em}(3)}$$

严格来说，根据第一部分，这里的分母的$m$应该为$m-1$。

2、梯度下降法

   多元函数$J(\mathbf{\theta })$的值会随着$\mathbf{\theta }$的改变而改变。我们希望能够尽快找到使$J(\theta )$最小的$\mathbf{\theta }$，那么$\mathbf{\theta }$应该往哪个方向变化，$J(\mathbf{\theta })$的值能够下降得更快呢？
   首先我们看”方向”这个词的含义。这里的方向，其实就是指每个参数，${\theta }_j$，第一是变大还是变小（正 or 负），第二是变得快还是慢。以下图一维的情况来看，显然A点切线斜率比B点的大，因此下降得更快，而C点${\theta }_1$得值应该增大，而非减小。想象下如果换成多维情况，其实就是看每个参数应该变大还是变小，应该以多快速率变化（在学习率$\alpha$一定的情况下）。如果想象从山顶往山下走（两个参数的情况），显然两个参数的正负和变化快慢，决定了下山路线的方向。
   梯度下降法实际上就是选择下降最快方向的方法，即
$${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\mathbf{\theta })}{\partial {\theta }_j}j=0,1,\dots ,n.\text{\hspace{1em}(4)}$$

  注意梯度下降法的特点：

• 梯度（切线斜率）越大，下降越快； 梯度越小，下降越慢。
• 如果到了局部最优点（斜率为0），则不再变化。
• 所有${\theta }_j$的值要同时更新。

3、线性回归的梯度下降

  回到我们的问题上来。我们是想找到(3)中代价函数的最小值，因此到我们设置好$\mathbf{\theta }$的初始值之后，就开始用(4)更新$\theta$值，逐渐逼近最优点。因此我们需要求得梯度，即
∂ J ( θ ) ∂ θ j = 1 2 m ∂ ∂ θ j ∑ i = 1 m [ h θ ( x ( i ) ) − y ( i ) ] 2 = 1 2 m ∂ ∂ θ j ∑ i = 1 m [ ∑ j = 1 n θ j x j ( i ) − y ( i ) ] 2 = 1 m ∑ i = 1 m [ ∑ j = 1 n θ