深度学习之损失函数

1 损失函数

1.1 什么是损失函数

​ 损失函数（Loss Function）又叫做误差函数，用来衡量算法的运行情况，估量模型的预测值与真实值的不一致程度，是一个非负实值函数，通常使用$
L(Y, f(x))​$来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。

1.2 常见的损失函数

​ 机器学习通过对算法中的目标函数进行不断求解优化，得到最终想要的结果。分类和回归问题中，通常使用损失函数或代价函数作为目标函数。
​ 损失函数用来评价预测值和真实值不一样的程度。通常损失函数越好，模型的性能也越好。
​ 损失函数可分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是在经验风险损失函数上加上正则项。
​ 下面介绍常用的损失函数：

（1）0-1损失函数
如果预测值和目标值相等，值为0，如果不相等，值为1。
$$L(Y,f(x))=\{\begin{array}{ll}1,& Y\ne f(x)\\ 0,& Y=f(x)\end{array}$$

一般的在实际使用中，相等的条件过于严格，可适当放宽条件：

$$L(Y,f(x))=\{\begin{array}{ll}1,& |Y-f(x)|⩾T\\ 0,& |Y-f(x)|<T\end{array}$$

（2）绝对值损失函数
和0-1损失函数相似，绝对值损失函数表示为：
$$L(Y,f(x))=|Y-f(x)|$$

（3）平方损失函数
$$L(Y,f(x))=\sum _N{(Y-f(x))}^2$$

这点可从最小二乘法和欧几里得距离角度理解。最小二乘法的原理是，最优拟合曲线应该使所有点到回归直线的距离和最小。

（4）对数损失函数
$$L(Y,P(Y|X))=-\log P(Y|X)=-\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^M{y}_{ij}log(p_{ij})$$

​ 其中, Y 为输出变量, X为输入变量, L 为损失函数. N为输入样本量, M为可能的类别数, $y_{ij}$ 是一个二值指标, 表示类别 j 是否是输入实例 xi 的真实类别. $p_{ij}$ 为模型或分类器预测输入实例 xi 属于类别 j 的概率.

常见的逻辑回归使用的就是对数损失函数，有很多人认为逻辑回归的损失函数是平方损失，其实不然。逻辑回归它假设样本服从伯努利分布（0-1分布），进而求得满足该分布的似然函数，接着取对数求极值等。逻辑回归推导出的经验风险函数是最小化负的似然函数，从损失函数的角度看，就是对数损失函数。形式上等价于二分类的交叉熵损失函数。

（6）指数损失函数
指数损失函数的标准形式为：
$$L(Y,f(x))=\exp (-Yf(x))$$

例如AdaBoost就是以指数损失函数为损失函数。

（7）Hinge损失函数
Hinge损失函数的标准形式如下：
$$L(y)=\max (0,1-ty)$$

统一的形式：
$$L(Y,f(x))=\max (0,Yf(x))$$

其中y是预测值，范围为(-1,1)，t为目标值，其为-1或1。

在线性支持向量机中，最优化问题可等价于

$$\underset{\min }{w,b}\sum _{i=1}^N(1-y_i(w{x}_i+b))+\lambda \Vert w{\Vert }^2$$

上式相似于下式

$$\frac{1}{m}\sum _{i=1}^{N}l(w{x}_i+b{y}_i)+\Vert w{\Vert }^2$$

其中$l(w{x}_i+b{y}_i)$是Hinge损失函数，$\Vert w{\Vert }^2$可看做为正则化项。

1.3 逻辑回归为什么使用对数损失函数

假设逻辑回归模型
$$P(y=1|x;\theta )=\frac{1}{1+e^{-{\theta }^{T}x}}$$
假设逻辑回归模型的概率分布是伯努利分布，其概率质量函数为：
$$P(X=n)=\{\begin{array}{l}1-p,n=0\\ p,n=1\end{array}$$
其似然函数为：
$$L(\theta )=\prod _{i=1}^{m}P(y=1|x_i{)}^{y_i}P(y=0|x_i{)}^{1-y_i}$$
对数似然函数为：
$$\begin{gathered} \ln L(\theta )=\sum _{i=1}^m[y_i\ln P(y=1|x_i)+(1-y_i)\ln P(y=0|x_i)] \\ =\sum _{i=1}^m[y_i\ln P(y=1|x_i)+(1-y_i)\ln (1-P(y=1|x_i))] \end{gathered}$$
对数函数在单个数据点上的定义为：
$$cost(y,p(y|x))=-y\ln p(y|x)-(1-y)\ln (1-p(y|x))$$
则全局样本损失函数为：
$$cost(y,p(y|x))=-\sum _{i=1}^m[y_i\ln p(y_i|x_i)+(1-y_i)\ln (1-p(y_i|x_i))]$$
由此可看出，对数损失函数与极大似然估计的对数似然函数本质上是相同的。所以逻辑回归直接采用对数损失函数。

1.4 对数损失函数是如何度量损失的

​ 例如，在高斯分布中，我们需要确定均值和标准差。
​ 如何确定这两个参数？最大似然估计是比较常用的方法。最大似然的目标是找到一些参数值，这些参数值对应的分布可以最大化观测到数据的概率。
​ 因为需要计算观测到所有数据的全概率，即所有观测到的数据点的联合概率。现考虑如下简化情况：

（1）假设观测到每个数据点的概率和其他数据点的概率是独立的。

（2）取自然对数。
假设观测到单个数据点$x_i(i=1,2,...n)$的概率为：
$$P(x_i;\mu ,\sigma )=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right)$$

（3）其联合概率为：
$$\begin{gathered} P(x_1,x_2,...,x_n;\mu ,\sigma )=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x_1-\mu {)}^2}{2{\sigma }^2}\right) \\ \times \frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x_2-\mu {)}^2}{2{\sigma }^2}\right)\times ...\times \frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x_n-\mu {)}^2}{2{\sigma }^2}\right) \end{gathered}$$
​ 对上式取自然对数，可得：
$$\begin{gathered} \ln (P(x_1,x_2,...x_n;\mu ,\sigma ))=\ln \left(\frac{1}{\sigma \sqrt{2\pi }}\right)-\frac{(x_1-\mu {)}^2}{2{\sigma }^2} \\ +\ln \left(\frac{1}{\sigma \sqrt{2\pi }}\right)-\frac{(x_2-\mu {)}^2}{2{\sigma }^2}+...+\ln \left(\frac{1}{\sigma \sqrt{2\pi }}\right)-\frac{(x_n-\mu {)}^2}{2{\sigma }^2} \end{gathered}$$
根据对数定律，上式可以化简为：
$$\begin{gathered} \ln (P(x_1,x_2,...x_n;\mu ,\sigma ))=-n\ln (\sigma )-\frac{n}{2}\ln (2\pi ) \\ -\frac{1}{2{\sigma }^2}[(x_1-\mu {)}^2+(x_2-\mu {)}^2+...+(x_n-\mu {)}^2] \end{gathered}$$
然后求导为：
$$\frac{\partial \ln (P(x_1,x_2,...,x_n;\mu ,\sigma ))}{\partial \mu }=\frac{n}{{\sigma }^2}[\mu -(x_1+x_2+...+x_n)]$$
​ 上式左半部分为对数损失函数。损失函数越小越好，因此我们令等式左半的对数损失函数为0，可得：
$$\mu =\frac{x_1+x_2+...+x_n}{n}$$
同理，可计算$\sigma$。