深度学习自学（二十）：SmoothL1 和 Softmax交叉熵

整理的人脸系列学习经验：包括人脸检测、人脸关键点检测、人脸优选、人脸对齐、人脸特征提取等过程总结，有需要的可以参考，仅供学习，请勿盗用。https://blog.csdn.net/TheDayIn_CSDN/article/details/93199307

分类采用 Softmax交叉熵，回归采用稳定的 Smooth L1

思路：

做人脸检测过程中遇到人脸分类和回归损失函数，这里简单介绍。

一、SmoothL1

 

Smooth L1

• 相比于L1损失函数，可以收敛得更快。
• 相比于L2损失函数，对离群点、异常值不敏感，梯度变化相对更小，训练时不容易跑飞。

二、Softmax

 softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。

softmax函数的公式是这种形式：