机器学习的数学——回归篇

多项式回归

如何表示误差？

最小二乘法——以一元一次函数为例

$$f_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
假设有$n$个训练数据，那么它们的误差之和可以用这样的表达式表示。这个表达式成为目标函数，$E(\theta )$的$E$是误差的英语单词Error的首字母。
$$E(\theta )=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}){)}^2$$

说明:
① $x^{(i)}$ 和 $y^{(i)}$ 指第 $i$ 个训练数据；
② 对每个训练数据的误差取平方之和，全部相加，然后乘以$\frac{1}{2}$。这么做是为了找到使 $E(\theta )$ 的值最小的 $\theta$。这样的问题称为最优化问题；
③ 使用平方而不使用绝对值，乘以 $\frac{1}{2}$ 而不乘以其他常数的原因是便于后续的微分。

如何使误差最小？

最速下降法——以一元一次函数为例

对于存在最小值的函数 $g(x)$，如果一边修改$x$的值，一边计算 $g(x)$ 并与之前的值相比较，这样的做法太麻烦。
因此，我们可以让 $g(x)$ 的值不断变小，直到不变。为了使 $g(x)$ 的值变小，我们需要将 $x$ 向与此时的导数符号相反的方向移动某个值，从而实现参数 $x$ 的自动更新。
那么，应该移动多少呢？
$$x:=x-\eta \frac{d}{dx}g(x)$$
从上式我们不难得出应当移动 $\eta \frac{d}{dx}g(x)$ ，$\frac{d}{dx}g(x)$ 表示此时的导数值（即微分），$\eta$ 则表示学习率（正的常数）。根据学习率的大小，到达最小值的更新次数也会发生变化。换种说法就是收敛速度会不同。有时候甚至会出现完全无法收敛，一直发散的情况。
因此，当 $\eta$ 过大，移动量变大，那么在参数的更新过程中可能会在两个值之间反复横跳，甚至远离最小值的情况，这就是发散状态；当 $\eta$ 过小，移动量也变小，更新次数就会增加，但是值确实是会朝着收敛的方向去的。

$$E(\theta )=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-f_{\theta }(x^{(i)}){)}^2$$
我们回到误差的表达式，将其作为目标函数，采取最速下降法求最小值。但是该函数是拥有 ${\theta }_0$ 和 ${\theta }_1$ 的双变量函数，因此我们采用偏微分。
$$\begin{array}{rl}& {\theta }_0:={\theta }_0-\eta \frac{\partial E}{\partial {\theta }_0}\\ & {\theta }_1:={\theta }_1-\eta \frac{\partial E}{\partial {\theta }_1}\end{array}$$
$\frac{\partial E}{\partial {\theta }_0}$计算过程如下：（复合函数的微分）
$$\begin{gathered} u=E(v) \\ v=f_{\theta }(x) \end{gathered}$$
$$\frac{\partial E}{\partial {\theta }_0}=\frac{\partial u}{\partial {\theta }_0}=\frac{\partial u}{\partial v}\cdot \frac{\partial v}{\partial {\theta }_0}$$
$$\begin{array}{rl}& \frac{\partial u}{\partial v}=\frac{\partial }{\partial v}(\frac{1}{2}\sum _{i=1}^n(y^{(i)}-v{)}^2)\\ & =\frac{1}{2}\sum _{i=1}^n\frac{\partial }{\partial v}(y^{(i)}-v{)}^2\\ & =\frac{1}{2}\sum _{i=1}^n(2v-2y^{(i)})\\ & =\sum _{i=1}^n(v-y^{(i)})\end{array}$$
$$\begin{array}{rl}& \frac{\partial v}{\partial {\theta }_0}=\frac{\partial }{\partial {\theta }_0}({\theta }_0+{\theta }_{1}x)\\ & =1\end{array}$$
$$\begin{array}{rl}& \frac{\partial E}{\partial {\theta }_0}=\frac{\partial u}{\partial {\theta }_0}=\frac{\partial u}{\partial v}\cdot \frac{\partial v}{\partial {\theta }_0}\\ & =\sum _{i=1}^n(v-y^{(i)})\cdot 1\\ & =\sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})\end{array}$$
综上所述$${\theta }_0:={\theta }_0-\eta \sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})$$
同理可得$${\theta }_1:={\theta }_1-\eta \sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$$
只需要根据这个表达式来更新${\theta }_0$和${\theta }_1$就能找到正确的一次函数$f_{\theta }$(x)。

最速下降法——以多元一次函数为例（多重回归）

$$f_{\mathbf{\theta }}(\mathbf{x})={\mathbf{\theta }}^T\mathbf{x}$$
$$\theta =\left[\begin{array}{c}\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\end{array}\right]x=\left[\begin{array}{c}\begin{array}{c}{x}_0\\ x_1\\ x_2\\ ⋮\\ x_n\end{array}\end{array}\right](x_0=1)$$
由最速下降法同理可得：
$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n(f_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
像这样包含了多个变量的回归称为多重回归

随机梯度下降法——以多元一次函数为例（多重回归）

所谓的最速下降法就是对所有训练数据都重复进行计算，但是训练数据越多，循环次数也就越多，因此计算量大、计算时间长是最速下降法的一个缺点。同时，最速下降法容易陷入局部最优解，从不同的点开始找最小值，会得到不同的“最小值”。


最速下降法使用了所有训练数据的误差，而随机梯度下降法中会随机选择一个训练数据，并使用它来更新参数。这个表达式中的$k$就是被随机选择的数据索引。
$${\theta }_j:={\theta }_j-(f_{\theta }(x^{(k)})-y^{(k)})x_j^{(k)}$$
相比之下，最速下降法更新1次参数的时间，随机梯度下降法可以更新$n$次，此外，随机梯度下降法由于训练数据是随机选择的，更新参数时使用的又是选择数据时的梯度，所以不容易陷入目标函数的局部最优解。

小批量梯度下降法——以多元一次函数为例（多重回归）

上述方法为随机选择1个训练数据的做法，此外还有随机选择$m$个训练数据来更新参数的做法，这种做法被称为小批量梯度下降法。
设随机选择$m$个训练数据的索引的集合为$K$：
$${\theta }_j:={\theta }_j-\eta \sum _{(k\in K)}(f_{\theta }(x^{(k)})-y^{(k)})x_j^{(k)}$$

学习率$\eta$的选择

这是一个很难的问题！