机器学习 之 最小二乘法，各种损失函数

最小二乘法就是机器学习的开始，设这个最简单的式子是：
$$y=wx+b$$

平方损失函数为：
$$L=\frac{1}{2}\sum _{i=1}^n(t_i-y_i{)}^2$$

之所以有$\frac{1}{2}$是因为在接下来化简过程中会非常漂亮(仅限于高数，矩阵不算)，其中$t_i$是已测数据的结果集，现成的。那么如何降低损失函数呢？就是求导让其对$w$求导等于0，那就是整个损失函数的最低点(损失函数是下凸函数)：
$$\begin{gathered} L=\frac{1}{2}\sum _{i=1}^n(t_i-y_i{)}^2 \\ =\frac{1}{2}\sum _{i=1}^n(t_i-(w{x}_i+b){)}^2 \\ =\frac{1}{2}\sum _{i=1}^n(t_i^2+w^2{x}_i^2+b^2-2t_{i}w{x}_i-2t_{i}b+2w{x}_{i}b) \end{gathered}$$

$$\frac{\vartheta L}{\vartheta w}=\sum _{i=1}^n(w{x}_i^2-t_i{x}_i+x_{i}b)$$

$$\frac{\vartheta L}{\vartheta b}=\sum _{i=1}^n(b-t_i+w{x}_i)$$
接下来让偏导等于0，求出$w,b$：
$$\begin{gathered} \sum _{i=1}^n(w{x}_i^2-t_i{x}_i+x_{i}b)=0 \\ w\sum _{i=1}^n{x}_i=\sum _{i=1}^n(t_i-b) \\ w=\frac{{\sum }_{i=1}^n(t_i-b)}{{\sum }_{i=1}^n{x}_i} \end{gathered}$$

$$\begin{gathered} \sum _{i=1}^n(b-t_i+w{x}_i)=0 \\ nb=\sum _{i=1}^n(t_i-w{x}_i) \\ b=\frac{{\sum }_{i=1}^n(t_i-w{x}_i)}{n} \end{gathered}$$

就这样算出来了。注意$w$中有$b$，$b$中有$w$。用均值取代掉$\sum$：
$$w=\frac{\overline{t}-b}{\overline{x}}$$

$$b=\overline{t}-w\overline{x}$$

相互带入，完全一样的：
$$w_0\overline{x}+b_0=\overline{t}$$

意料之外，情理之中，表示数据集均值在这条直线上，接下来用这个式子带入上面的偏导式，消$b_0$(b最小值的时候)，这样就会出现$w_0$了。
$$\begin{gathered} \frac{\vartheta L}{\vartheta w}=\sum _{i=1}^n(w{x}_i^2-t_i{x}_i+x_i{b}_0) \\ =\sum _{i=1}^n(w{x}_i^2-t_i{x}_i+x_i(\overline{t}-w_0\overline{x})) \\ =w\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{t}_i{x}_i+(\overline{t}-w_0\overline{x})\sum _{i=1}^n{x}_i \\ =w_{0}n\overline{x^2}-n\overline{tx}+(\overline{t}-w_0\overline{x})n\overline{x}=0 \\ {w}_0=\frac{\overline{tx}-\overline{t}\overline{x}}{\overline{x^2}-{\overline{x}}^2} \end{gathered}$$

更一般的，大家都这么写：
$$w=\frac{\frac{1}{n}{\sum }_{i=1}^n{x}_i{t}_i-\overline{t}\overline{x}}{\frac{1}{n}{\sum }_{i=1}^n{x}_i^2-\overline{x}\overline{x}}$$

$b$直接用$w$推出，自此最小二乘法推导完毕。

接下来用线代推，用线代推不仅更简洁，更重要的一点是，它支持多$w$，也就是多元超平面，这个是高数方法永远也解决不了的了(它会得出n个等式)。
$$f={\text{w}}_{n\ast 1}{\text{x}}_{n\ast 1}+{\text{b}}_{n\ast 1}$$

设一共n组数据，每组数据有k个参数。
这里进行了一个整理，把$b$添加进$w$里了，具体见下：
$$\text{w}=\left(\begin{array}{c}b\\ w\end{array}\right),\text{x}=\left(\begin{array}{c}1\\ x\end{array}\right)$$

这样${\text{w}}^T\text{x}=b+wx$，按照这个角度来说，b用$w_0$来表示比较合适了，接下来的参数为$w_1,w_2...$，而变量也是从1$,x_1,x_2...$特别完美，实际上的矩阵就是n+1的，参数矩阵第一个是$w_0$，变量矩阵第一个是$1$，直接$\text{wx}$得出解，下面都是多变量多参数的了。
损失函数为
$$L=\sum _{i=1}^n(t_i-{\text{w}}^T{\text{x}}_i{)}^2$$

取代$\sum$，变成如下的：
$$L=(\text{t}-\text{X}\text{w}{)}^T(\text{t}-\text{X}\text{w})$$

$$L={\text{w}}^T{\text{X}}^T\text{Xw}-2{\text{w}}^T{\text{X}}^T\text{t}+{\text{t}}^T\text{t}$$

注意此时的$\text{X}$是$n\ast k$的矩阵，包含所有的数据了(但$\text{x}$是$k\ast 1$矩阵)，这里$\text{w}$是$k\ast 1$矩阵，只有这样$\text{Xw}$才是$n\ast 1$的矩阵，是所有的解，转置相乘恰好就是平方差的形式。
接下来自然是求导了:
$$\frac{\vartheta L}{\vartheta \text{w}}=\left(\begin{array}{c}\frac{\vartheta L}{\vartheta w_0}\\ \frac{\vartheta L}{\vartheta w_1}\\ ⋮\\ \frac{\vartheta L}{\vartheta w_k}\end{array}\right)$$

$$\frac{\vartheta L}{\vartheta \text{w}}=2{\text{X}}^T\text{X}\text{w}-2{\text{X}}^T\text{t}=0$$

这里的矩阵求导是固定式子(这里是对$w$求导)，$(w^{T}x{)}^{\prime }=x,(x^{T}w{)}^{\prime }=x,(w^{T}w{)}^{\prime }=2w,(w^{T}Cw{)}^{\prime }=2Cw$(跟普通函数求导差不多)。
$${\text{X}}^T\text{X}\text{w}={\text{X}}^T\text{t}$$

$$\text{w}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{t}$$

这就是$\text{w}$的最小值，注意是所有的(包括$w,b$)，矩阵最小二乘法完毕。

这样求得的式子是线性的，有时候平方式子可能更拟合(这是很有可能的)，即$f=w_0+w_{1}x+w_2{x}^2$，这样参数就会是超过两个。但是，越高阶，其实就没有多少作用了，它会在有数据的地方过拟合，没数据的地方偏十万八千里。
如何验证模型的最优复杂度？就是用验证集测，得出最好的。

当数据集特别小，以至于分出一个验证集太奢侈，那么就将数据集分成k份，每次取一份作为验证集，其他作为测试集，一圈下来取平均值(交叉验证)。当k=n时，也就是验证集就一个数据，这叫留一交叉验证LOOCV。

那么什么是模型复杂度？就是$w$尽可能的小和少：
$$\sum _{i=0}^k{w}_i^2$$

那么损失函数就变成了：
$$L^{\prime }=L+\lambda {\text{w}}^T\text{w}$$

$$L(\text{w})=(\text{t}-\text{X}\text{w}{)}^T(\text{t}-\text{X}\text{w})+\lambda {\text{w}}^T\text{w}$$

$$\frac{\vartheta L}{\vartheta \text{w}}=2{\text{X}}^T\text{X}\text{w}-2{\text{X}}^T\text{t}+2\lambda \text{w}=0$$

$$\text{w}=({\text{X}}^T\text{X}+\lambda \text{E}{)}^{-1}{\text{X}}^T\text{t}$$
$\lambda$值太小，函数就可能太过复杂(后面项就没多大用了)，值太大，又不利于逼近数据(太简化了)。 这就叫正则化误差，正则化最小二乘法。也叫结构误差，这个以后讲。如何确定$\lambda$(超参数)选什么好呢？交叉验证。

岭回归： 以损失部分信息(说明加入正则化项确实有深刻的缺点)、降低精度(加入正则化项)为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。实际上也是新瓶装旧酒，都一样的。

为了保证回归系数$\text{w}$可求，岭回归模型在目标函数上加了一个L2范数的惩罚项
$$\begin{gathered} J(\text{w})=\sum (y-\text{X}\text{w}{)}^2+\lambda ||\text{w}|{|}_2^2 \\ =\sum (y-\text{X}\text{w}{)}^2+\sum \lambda {\text{w}}^2 \end{gathered}$$

$$\text{w}=({\text{X}}^T\text{X}+\lambda \text{I}{)}^{-1}{\text{X}}^{T}y$$

单位矩阵$I$的对角线上全是1，像一条山岭一样，这也是岭回归名称的由来。

每日小常识

0-1损失函数
$$L(Y,f(X))=\{\begin{array}{lc}1& Y\ne f(X)\\ 0& Y=f(X)\end{array}$$
特点是比较严格，直接分类，但它是一个非凸函数，不太适用。

绝对值损失函数
$$L(Y,f(x))=|Y-f(x)|$$

log对数损失函数
$$L(Y,P(Y|X))=-logP(Y|X)$$
log对数损失函数能非常好的表征概率分布，如果需要知道结果属于每个类别的置信度，那它非常合适。但健壮性不强，对噪声敏感。

大名鼎鼎的平方损失函数
$$L(Y|f(X))=\sum _N(Y-f(X){)}^2$$

不解释

指数损失函数
$$L(Y|f(X))=e^{-yf(x)}$$

对噪声非常敏感

Hinge损失函数
$$L(y,f(x))=max(0,1-yf(x))$$

SVM就用这个损失函数

交叉熵损失函数
这个后面讲，值得注意的是对数损失函数和交叉熵损失函数是等价的。