损失函数

损失函数（目标函数）

一、损失函数概述

    损失函数即为目标函数，用来衡量计算值与真实值之间的差距。
    经验风险损失：即为训练数据预测结果和真实结果之间的差距。
    结构风险损失：即在经验风险损失的基础之上加上了正则化项。
    期望风险损失：即为测试数据的预测结果和真实数据之间的差距。

二、常见的损失函数

2.1 0-1风险损失

    数学公式：

    即预测正确即为1，预测错误即为0。传统方法中感知机即为0-1风向损失函数。
    其中对0-1风险损失的改进：

    即预测结果与真实结果之间加入了一个弹性变量T。

2.2 绝对值损失

    数学公式：

2.3 平方损失函数

    数学公式：

2.4 对数损失函数

    数学公式：

    指的得是样本X在分类Y的情况下，使得概率P(Y|X)达到最大值。其中会使用到极大似然估计，主要应用在逻辑斯蒂回归中。

2.5 指数损失函数

    数学公式：

    在boosting比较常用到，比如Adaboosting。

2.6 铰链损失函数（Hinge loss）

    数学公式：

    y是预测值，在-1到+1之间，t为目标值（-1或者+1）。

2.7 交叉熵损失函数

    数学公式：

    衡量模型输出的值和样本真实值之间的相似程度，其中y^{i是第i个样本的真实值，y}i的取值只能是0或者1。yi为预测的值。y^i为1的时候，只有预测的值yi越大的时候，损失才会越小。

三、人脸识别方向的损失函数

3.1 softmax损失函数

    数学公式：

    其中N为batchsize的样本数量，n表示类别数目，j表示样本第j个类别的得分。yi表示真实的样本类别。
    softmax不能像度量学习的方法一样可以优化类间和类内距离。人脸识别和行人再识别方向的目的一样，是为了得到泛化能力比较强的feature，与其分类能力并不是完全等价的。

3.2 Triplet Loss

    数学公式：

    同时输入三张图片，其中一对正样本图片，还有一个负样本的图片，通过对两幅图片提取特征，然后计算器其相似性，使得正样本对之间的类内距离减小，负样本对之间的类间距离扩大。

3.3 Center loss

    问题：

    从图中我们可以看到，softmax分类的特征点中，确实是正确分类了样本点，但是明显可以看出有的样本之间的类间距离大于类内距离。我们在做行人再识别还有人脸识别的时候，需要提取的是有判别力的特征，因此要尽可能的缩小类内距离。
数学公式：

    左边是softmax损失函数，右边是每个样本点与其中心点计算的损失。

3.4 L-softmax( Large-margin softmax)

    数学公式：

    原先对于分类函数，如果xk属于第1类样本，我们则希望：

    即

    我们希望上面的数值尽可能的大，对于cos函数其在0-Π之间是单调递减函数，因此引入了一个m>=1的数值，我们约束：

    其中0<=θ<=Π/m，通过控制m的值，会使得负样本对之间的类间距离增大，正样本之间的类内距离减小，类内更加紧凑。

3.5 A-softmax(SphereFace，angular softmax loss)

    数学公式：

    A-softmax在softmax 的基础上将权重归一化，即||w|| = 1，bias = 0。与L-softmax相比，最大的区别就是将W权重归一化了。

四、参考链接

1、https://blog.csdn.net/u014380165/article/details/76946339
2、https://mp.weixin.qq.com/s/vPU4cAM27l8p0OjZA1UvRA