当我们优化损失函数时，我们到底在优化什么？

高能预警：本文涉及大量的数学推导，如有不适，概不负责。

回归问题与平方误差和

在回归问题（regression problems）中，我们常用平方误差和（sum of squares）来衡量模型的好坏。

回归问题可以定义如下：
给定一个包含$N\text{N}N$ 个数据集的训练集 x ≡ { x 1 , x 2 , x 3 , . . . , x N } \mathbf{x}\equiv\{\pmb{x_1},\pmb{x_2},\pmb{x_3},...,\pmb{x_N}\} x≡{x1​​x1​​​x1​,x2​​x2​​​x2​,x3​​x3​​​x3​,...,xN​​xN​​​xN​}，以及这些数据对应的目标值 t = { t 1 , t 2 , t 3 , . . . , t N } \mathbf{t}=\{\pmb{t_1},\pmb{t_2},\pmb{t_3},...,\pmb{t_N}\} t={t1​​t1​​​t1​,t2​​t2​​​t2​,t3​​t3​​​t3​,...,tN​​tN​​​tN​}，回归问题的目标是利用这组训练集，寻找一个合适的模型，来预测一个新的数据点$\hat{x}$对应的目标值$\hat{t}$。记模型的参数为$w\text{w}w$，模型对应的函数为$y\text{y}y$，模型的预测值可以相应表示为$y\text{y}y(x\text{x}x,w\text{w}w)$。

为了衡量模型的好坏，需要一种方法衡量预测值与目标值之间的误差，一个常用的选择是平方误差和：
E ( w ) = 1 2 ∑ n = 1 N { y ( x , w ) − t n } 2 \pmb{E}(\pmb{w})=\frac{1}{2}\sum_{n=1}^N \{\pmb{y}(\pmb{x},\pmb{w})-\pmb{t_n}\}^2 EEE(www)=21​n=1∑N​{y​y​​y(xxx,www)−tn​​tn​​​tn​}2

平方误差和函数可以看成是每个数据点$x_n\text{xn}{x}_n$的预测值$y\text{y}y(x_n\text{xn}{x}_n,w\text{w}w)$到真实目标值$t_n\text{tn}{t}_n$的误差平方和的一半。

不同的参数$w\text{w}w$对应于不同的误差函数$E\text{E}E(w\text{w}w)$，因此，回归问题的目标通常是找到一组参数${w\text{w}w}^{\ast }$使得误差函数$E\text{E}E(w\text{w}w)$最小化。

那么最小化$E\text{E}E(w\text{w}w)$究竟有什么意义呢？
在回答这个问题之前，我们需要先复习一下概率论的知识点。

贝叶斯概率

先复习一下与条件概率相关的贝叶斯公式：
$$p\text{p}p(x|y)=\frac{p\text{p}p(y|x)p\text{p}p(x)}{p\text{p}p(y)}$$
对于回归问题来说，如果我们记训练集为$\mathcal{D}$，那么对于模型函数$w\text{w}w$来说，贝叶斯公式给出：
$$p\text{p}p(w|\mathcal{D})=\frac{p\text{p}p(\mathcal{D}|w)p\text{p}p(w)}{p\text{p}p(\mathcal{D})}$$
其中$p\text{p}p(w)$表示的是参数$w\text{w}w$的先验（prior）分布；$p\text{p}p(\mathcal{D}|w)$是给定参数为$w\text{w}w$的情况下，训练数据为$\mathcal{D}$的可能性，我们也可以把它看成一个关于$w\text{w}w$的函数，这个函数又叫做似然函数（likelihood function）；$p\text{p}p(w|\mathcal{D})$是参数$w\text{w}w$在给定数据$\mathcal{D}$下的后验（posterior）分布。

给定这些定义，贝叶斯公式可以表示成：
$$\mathbf{p}\mathbf{o}\mathbf{s}\mathbf{t}\mathbf{e}\mathbf{r}\mathbf{i}\mathbf{o}\mathbf{r}\propto \mathbf{l}\mathbf{i}\mathbf{k}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{h}\mathbf{o}\mathbf{o}\mathbf{d}\times \mathbf{p}\mathbf{r}\mathbf{i}\mathbf{o}\mathbf{r}$$
即后验正比于似然与先验的乘积。

似然函数是一个非常重要的概念。通过极大似然函数$p\text{p}p(\mathcal{D}|w)$，我们可以找到一个最优的参数${w\text{w}w}^{\ast }$，使得在这组参数设定下，出现训练数据$\mathcal{D}$的可能性$p\text{p}p(\mathcal{D}|w)$最大。这组参数在统计学上叫做参数$w\text{w}w$的极大似然估计。

极大似然与回归问题

我们在初中阶段就学到了在做实验时，需要多次取样取平均的方法来减少随机误差，而误差有两种：系统误差和随机误差，那么在实际取样计算的过程中，系统误差是不可避免的。

同理，在回归问题中，$x\text{x}x$的测量值$t\text{t}t$会存在一定的误差。

假定对所有的数据点$x\text{x}x$，模型预测值$y\text{y}y(x_n\text{xn}{x}_n,w\text{w}w)$与目标值$t\text{t}t$之间的误差是一样的，并服从一定的概率分布，比如均值为0，方差为${\beta }^{-1}={\sigma }^2$的高斯分布，则有：
$$p\text{p}p(t-y(x,w)|x,w,\beta )\sim \mathcal{N}(t-y(x,w)|0,{\beta }^{-1})$$
即：
$p\text{p}p(t|x,w,\beta )\sim \mathcal{N}(t|y(x,t),{\beta }^{-1})$

对于一组独立同分布的数据点 x ≡ { x 1 , x 2 , x 3 , . . . , x N } \mathbf{x}\equiv\{\pmb{x_1},\pmb{x_2},\pmb{x_3},...,\pmb{x_N}\} x≡{x1​​x1​​​x1​,x2​​x2​​​x2​,x3​​x3​​​x3​,...,xN​​xN​​​xN​}，以及这些数据对应的目标值 t = { t 1 , t 2 , t 3 , . . . , t N } \mathbf{t}=\{\pmb{t_1},\pmb{t_2},\pmb{t_3},...,\pmb{t_N}\} t={t1​​t1​​​t1​,t2​​t2​​​t2​,t3​​t3​​​t3​,...,tN​​tN​​​tN​}，我们得到关于这组数据的似然函数：
$$p\text{p}p(t|x,w,{\beta }^{-1})=\prod _{n=1}^{N}p\text{p}p(t_n|x_n,w,{\beta }^{-1})=\prod _{n=1}^N\mathcal{N}(t_n|y(x_n,w),{\beta }^{-1})$$
其中，高斯分布的概率函数为：
N ( t ∣ y ( x , t ) , β − 1 ) = ( β 2 π ) e x p { − β 2 [ t − y ( x , w ) ] 2 } \mathcal{N}(t|y(x,t),\beta^{-1})=\left(\frac{\beta}{2\pi}\right)\mathbf{exp}\{-\frac{\beta}{2}[t-y(x,w)]^2\} N(t∣y(x,t),β−1)=(2πβ​)exp{−2β​[t−y(x,w)]2}
可以通过极大化这个似然函数得到关于$w\text{w}w$的一组极大似然解。

不过，更方便的做法是极大对数似然函数，因为对数函数是严格单调递增的，所以极大对数似然的解与极大似然的解是相同的。

对数似然函数为：
l n p ( t ∣ x , w , β − 1 ) = − β 2 ∑ n = 1 N { y ( x n , w ) − t 2 } + N 2 l n β − N 2 l n 2 π \mathbf{ln}p(t|x,w,\beta^{-1})=-\frac{\beta}{2}\sum_{n=1}^N \{y(x_{n},w)-t^2\}+\frac{N}{2}\mathbf{ln}\beta-\frac{N}{2}\mathbf{ln}2\pi lnp(t∣x,w,β−1)=−2β​n=1∑N​{y(xn​,w)−t2}+2N​lnβ−2N​ln2π
如果我们你不考虑$\beta$的影响，那么，对于参数$w\text{w}w$来说，最小化平方误差和的解，就等于极大对数似然的估计。

因此，最小化平方误差和$E\text{E}E(w\text{w}w)$与极大似然等价，考虑到似然函数的定义，优化$E\text{E}E(w\text{w}w)$相当于在给定高斯误差的假设下，寻找一组$w\text{w}w$使得观察到目标值$t\text{t}t$的概率最大。

分类问题与交叉熵损失

现在我们考虑另一类问题----分类问题。

我们同样给出定义：
给定一个包含$N\text{N}N$ 个数据集的训练集 x ≡ { x 1 , x 2 , x 3 , . . . , x N } \mathbf{x}\equiv\{\pmb{x_1},\pmb{x_2},\pmb{x_3},...,\pmb{x_N}\} x≡{x1​​x1​​​x1​,x2​​x2​​​x2​,x3​​x3​​​x3​,...,xN​​xN​​​xN​}，以及这些数据对应的目标值 t = { t 1 , t 2 , t 3 , . . . , t N } \mathbf{t}=\{\pmb{t_1},\pmb{t_2},\pmb{t_3},...,\pmb{t_N}\} t={t1​​t1​​​t1​,t2​​t2​​​t2​,t3​​t3​​​t3​,...,tN​​tN​​​tN​}，这里， t n ∈ { 1 , 2 , 3 , . . . , K } \mathbf{t_{n}}\in\{\pmb{1},\pmb{2},\pmb{3},...,\pmb{K}\} tn​∈{111,222,333,...,KKK}，分类问题的目标是利用这组训练集，寻找一个合适的模型，来预测一个新的数据点$\widehat{x\text{x}x}$对用的类别$\widehat{t\text{t}t}$。现在假设模型的参数为$w\text{w}w$，模型输出是属于每一类的概率，预测为第 k ∈ { 1 , 2 , 3 , . . . , K } \mathbf{k}\in\{\pmb{1},\pmb{2},\pmb{3},...,\pmb{K}\} k∈{111,222,333,...,KKK}类的概率为$y\text{y}y(x\text{x}x,w\text{w}w)$。

对于样本$x\text{x}x$，其属于第$t\text{t}t$类的概率为：
$$p\text{p}p(t|x,w)=\prod _{k=1}^{K}p\text{p}p(y=t|x,w{)}^{1_{t=k}}$$
其中：
$$1_{t=k}=\{\begin{array}{ll}1,& t=k\\ 0,& t̸=k\end{array}$$
因此，似然函数为：
$$p\text{p}p(\mathbf{t}|\mathbf{x},w)=\sum _{n=1}^N\sum _{k=1}^K{1}_{t=k}\mathbf{l}\mathbf{o}\mathbf{g}p\text{p}p(t_n\text{tn}{t}_n|x_n\text{xn}{x}_n,w)$$
极大化对数似然，相当于极小化：
$$-\sum _{n=1}^N\sum _{k=1}^K{1}_{t=k}\mathbf{l}\mathbf{o}\mathbf{g}p\text{p}p(t_n\text{tn}{t}_n|x_n\text{xn}{x}_n,w)$$
事实上，这正是我们常使用的多类交叉熵损失函数的表示形式。

因此，在分类问题中，最小化交叉熵损失函数相当于样本的极大似然函数。

正则项

在优化目标函数时，处理正常的损失函数外，为了防止过拟合，我们通常会加入一些正则项，比如权值衰减（weight decay），lasso等等。

比如，在回归问题中，使用权值衰减后，目标函数可能是：
E ( w ) = 1 2 ∑ n = 1 N { y ( x , w ) − t n } 2 + λ w ⊤ w \pmb{E}(\pmb{w})=\frac{1}{2}\sum_{n=1}^N \{\pmb{y}(\pmb{x},\pmb{w})-\pmb{t_n}\}^2+\lambda\pmb{w}^{\top}\pmb{w} EEE(www)=21​n=1∑N​{y​y​​y(xxx,www)−tn​​tn​​​tn​}2+λwww⊤www
这里，我们假定$w\text{w}w$可以被拉长表示为一个一维向量。
此时，优化这个目标函数就不能用极大似然来解释了。
不过，如果我们观察贝叶斯公式：
$$p\text{p}p(x|y)=\frac{p\text{p}p(y|x)p\text{p}p(x)}{p\text{p}p(y)}$$
以及：
$$\mathbf{p}\mathbf{o}\mathbf{s}\mathbf{t}\mathbf{e}\mathbf{r}\mathbf{i}\mathbf{o}\mathbf{r}\propto \mathbf{l}\mathbf{i}\mathbf{k}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{h}\mathbf{o}\mathbf{o}\mathbf{d}\times \mathbf{p}\mathbf{r}\mathbf{i}\mathbf{o}\mathbf{r}$$
我们会发现，如果两边去对数，那么就有：
$$\mathbf{l}\mathbf{n}p\text{p}p(w|\mathcal{D})=\mathbf{l}\mathbf{n}p\text{p}p(\mathcal{D}|w)+\mathbf{l}\mathbf{n}p\text{p}p(w)+const\text{const}const$$
那么，我们加入的正则项，是不是对应于$w\text{w}w$的先验概率$p\text{p}p(w\text{w}w)$呢？
答案是肯定的。

如果给出参数$w\text{w}w$侧先验概率，那么极大后验估计（Maximize a Posterior, MAP）是能给出类似带正则项目标函数$E\text{E}E(w\text{w}w)$的结构的。

问题是什么样的先验会给出类似权值衰减的正则项呢？
一个通常的想法是我们认为参数$w\text{w}w$服从的先验分布是一个均值为0，方差为${\alpha }^{-1}I\text{I}I$的D维高斯分布，那么，我们有：
p ( w ∣ α ) = N ( 0 , α − 1 I ) = ( α 2 π ) D 2 e x p { − α 2 w ⊤ w } \pmb{p}(w|\alpha)=\mathcal{N}(0,\alpha^{-1}\pmb{I})=\left(\frac{\alpha}{2\pi}\right)^{\frac{D}{2}}\mathbf{exp}\{-\frac{\alpha}{2}\pmb{w}^{\top}\pmb{w}\} p​p​​p(w∣α)=N(0,α−1III)=(2πα​)2D​exp{−2α​www⊤www}
其对数为：
$$\mathbf{l}\mathbf{n}p\text{p}p(w|\alpha )=-\frac{\alpha }{2}{w\text{w}w}^{\top }w\text{w}w+const\text{const}const$$
结合我们之前的推导，我们有：
$$\mathbf{l}\mathbf{n}p\text{p}p(w|\mathbf{t},\mathbf{x},\beta ,\alpha )=\mathbf{l}\mathbf{n}p\text{p}p(\mathbf{t}|\mathbf{x},w,\beta )+\mathbf{l}\mathbf{n}p\text{p}p(w|\alpha )$$
= − β 2 ∑ n = 1 N { y ( x , w ) − t n } 2 − α 2 w ⊤ w + c o n s t =-\frac{\beta}{2}\sum_{n=1}^N \{\pmb{y}(\pmb{x},\pmb{w})-\pmb{t_n}\}^2-\frac{\alpha}{2}\pmb{w}^{\top}\pmb{w}+\pmb{const} =−2β​n=1∑N​{y​y​​y(xxx,www)−tn​​tn​​​tn​}2−2α​www⊤www+constconstconst
因此，加权值衰减的正则与高斯分布先验下极大后验估计的结果一致。
对于分类问题，该结论依然成立。

为什么是高斯分布？

我们已经解释了目标函数中优化某些损失韩式和正则项的意义。在解释更多的损失函数和正则项之前，需要先解决一个问题。

为什么是高斯分布？怎么老是高斯分布？

先给出结论：
对于一个连续随机变量$x\text{x}x$，在给定均值和方差的约束下，交叉信息熵最大的分布是高斯分布。

熵是描述系统混乱度的概念，热力学第二定律告诉我们，在没有外力作用时，熵总是趋于自增的，因此，上面的结论告诉我们，生活中很多现象服从高斯分布并不是偶然。

我们先引出信息熵的概念。

先考虑一个离散的随机变量$X\text{X}X$，给定一个该随机变量的观察值 $x\text{x}x$，希望用一个函数$h\text{h}h(x\text{x}x)$去衡量 $x\text{x}x$所携带的信息量。一般来说，如果 $x\text{x}x$是一件发生概率极低的事情，那么我们会觉得它很有信息量，反之，如果 $x\text{x}x$是一件经常发生的事情，那么我们会觉得信息量很少。因此，信息量会和 $x\text{x}x$发生的概率$p\text{p}p(x\text{x}x)$相关。

另一方面，我们认为，如果两个事件$x\text{x}x$和$y\text{y}y$是相互独立的，那么，我们认为两者携带的信息量是各自信息量之和：
$$h\text{h}h(x\text{x}x,y\text{y}y)=h\text{h}h(x\text{x}x)+h\text{h}h(y\text{y}y)$$
另一方面，独立性给出：
$$p\text{p}p(x\text{x}x,y\text{y}y)=p\text{p}p(x\text{x}x)p\text{p}p(y\text{y}y)$$
再考虑约束，当$p\text{p}p(x\text{x}x)=1$时，$h\text{h}h(x\text{x}x)=0$，不难看出，符合条件的是概率密度的对数函数，不妨定义为：
$$h\text{h}h(x\text{x}x)=-{\mathbf{l}\mathbf{o}\mathbf{g}}_{2}p\text{p}p(x\text{x}x)$$
这里，使用以2为底的对数并不是必须的，也可以使用其它底。不过使用2为底，信息的单位就变成了bit。

对于一个离散分布$X\text{X}X$来说，其信息的期望为：
$$H\text{H}H[x\text{x}x]=-\sum _{x}p\text{p}p(x\text{x}x){\mathbf{l}\mathbf{o}\mathbf{g}}_{2}p\text{p}p(x\text{x}x)$$
我们把$H\text{H}H[x\text{x}x]$叫做这个随机变量的熵。
比如说，对于一个等概率，取值为8个的离散分布，其熵为：
$$H\text{H}H=-8\times \frac{1}{8}\times {\mathbf{l}\mathbf{o}\mathbf{g}}_2\frac{1}{8}=3bits$$
3比特正是用二进制表示这8个值所需要的大小。
再比如说，考虑取值为$a,b,c,d$，概率为$\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8}$的分布，其熵为：
$$H\text{H}H=-\left(\frac{1}{2}lo{g}_2\frac{1}{2}+\frac{1}{4}lo{g}_2\frac{1}{4}+2\times \frac{1}{8}lo{g}_2\frac{1}{8}\right)=1.75bits$$
而这正是用霍夫曼编码a:0，b:10，c:110，d:111表示这四个值的平均比特的大小。
除了以2为底，我们还可以以其他对数为底，比如自然对数：
$$H\text{H}H[x\text{x}x]=-\sum _{x}p\text{p}p(x\text{x}x)\mathbf{l}\mathbf{n}p\text{p}p(x\text{x}x)$$
连续分布：
$$H\text{H}H[x\text{x}x]=-{\int }_{x}p\text{p}p(x\text{x}x)\mathbf{l}\mathbf{n}p\text{p}p(x\text{x}x)dx\text{dx}dx$$
现在假设某个分布满足：
$${\int }_{x}p\text{p}p(x\text{x}x)dx\text{dx}dx=1$$
$${\int }_{x}x\text{x}xp\text{p}p(x\text{x}x)dx\text{dx}dx=\mu$$
$${\int }_x(x\text{x}x-\mu \text{μ}\mu {)}^{2}p\text{p}p(x\text{x}x)dx\text{dx}dx={\sigma }^2$$
在这些假设下，为了使$H\text{H}H[x\text{x}x]$最大，其拉格朗日（Lagrange）函数为：
$$-{\int }_{x}p\text{p}p(x\text{x}x)\mathbf{l}\mathbf{n}p\text{p}p(x\text{x}x)dx\text{dx}dx+{\lambda }_1({\int }_{x}p\text{p}p(x\text{x}x)dx\text{dx}dx-1)+{\lambda }_2({\int }_{x}x\text{x}xp\text{p}p(x\text{x}x)dx\text{dx}dx-\mu )+{\lambda }_3({\int }_x(x\text{x}x-\mu \text{μ}\mu {)}^{2}p\text{p}p(x\text{x}x)dx\text{dx}dx-{\sigma }^2)$$
即：
$${\int }_x[-p\text{p}p\mathbf{l}\mathbf{n}p\text{p}p+{\lambda }_{1}p\text{p}p+{\lambda }_{2}x\text{x}xp\text{p}p+{\lambda }_3(x-{\mu }^2\text{x−μ2}x-{\mu }^2)p\text{p}p]dx\text{dx}dx+const\text{const}const={\int }_{x}G\text{G}G(p\text{p}p,x\text{x}x)dx\text{dx}dx+const\text{const}const$$
利用变分法中的欧拉-拉格朗日方程：
$$\frac{\partial G\text{G}G}{\partial p\text{p}p}-\frac{d\text{d}d}{dx\text{dx}dx}\left(\frac{\partial G\text{G}G}{\partial {p\text{p}p}^{{}^{\prime }}}\right)=0$$
我们得到使得$H\text{H}H[x\text{x}x]$最大的$p\text{p}p(x\text{x}x)$需要满足：
$$\mathbf{l}\mathbf{n}p\text{p}p(x\text{x}x)=-1+{\lambda }_1+{\lambda }_{2}x\text{x}x+{\lambda }_3(x-\mu \text{x−μ}x-\mu {)}^2$$
即：
$$p\text{p}p(x\text{x}x)=\mathbf{e}\mathbf{x}\mathbf{p}(-1+{\lambda }_1+{\lambda }_{2}x\text{x}x+{\lambda }_3(x-\mu \text{x−μ}x-\mu {)}^2)$$
带入约束中，不难解出：
p ( x ) = 1 2 π σ e x p { ( x − μ ) 2 2 σ 2 } \pmb{p}(\pmb{x})=\frac{1}{\sqrt{2\pi}\sigma}\mathbf{exp}\{\frac{(\pmb{x-\mu})^2}{2\sigma^2}\} p​p​​p(xxx)=2π ​σ1​exp{2σ2(x−μ​x−μ​​x−μ)2​}
即高斯分布是满足约束下，熵最大的分布。

更多的损失函数与正则

接下来，我们讨论其他的损失函数与正则。
事实上，如果我们考虑更一般的分布：
p ( x ∣ σ 2 , q ) = q 2 ( 2 σ 2 ) 1 / q Γ ( 1 / q ) e x p { − ∣ x ∣ q 2 σ 2 } \pmb{p}(x|\sigma^2,q)=\frac{q}{2(2\sigma^2)^{1/q}\Gamma(1/q)}\mathbf{exp}\{-\frac{|x|^q}{2\sigma^2}\} p​p​​p(x∣σ2,q)=2(2σ2)1/qΓ(1/q)q​exp{−2σ2∣x∣q​}
不难得出：
$$\mathbf{l}\mathbf{n}p\text{p}p(x|{\sigma }^2,q)=-\frac{|x{|}^q}{2{\sigma }^2}+const\text{const}const$$
在回归问题中，如果我们用这个分布作为预测值与目标值之间误差的分布：
$$t\text{t}t=y\text{y}y(x\text{x}x,w\text{w}w)+ϵ,ϵ\sim p\text{p}p(ϵ|{\sigma }^2,q)$$
那么，对应的损失函数为${L\text{L}L}_q$损失函数：
$$|y\text{y}y(x\text{x}x,w\text{w}w)-t\text{t}t{|}^q$$
如果我们认为参数$w\text{w}w$的先验服从该分布：
$$w\text{w}w\sim p\text{p}p(w\text{w}w|{\sigma }^2,p\text{p}p)$$
那么，对应的正则项为${L\text{L}L}_p$正则项：
$$|w\text{w}w{|}_p$$
当$p\text{p}p=1$时，我们相当于加了一个${L\text{L}L}_1$范数的正则项，即Lasso，它通常具有稀疏的作用，原因是此时参数的先验分布大概长这个样子：

总结

总而言之，优化损失函数与正则项，其实代表的是对参数$w\text{w}w$的极大似然或者极大后验估计，不同的损失函数和正则项，反映的是我们对参数先验分布和似然函数不同的假设。

注：

本文转自知乎https://zhuanlan.zhihu.com/p/33568166，仅供自身学习使用。