模型损失函数
1、focal loss(焦点损失)
2、skrinkage loss(收敛损失)
3、lossless Triplet loss一种高效的siamese网络损失函数
4、Repulsion loss
5、sample can be faster Than Optimization采用可以比优化更快收敛
MSE均方误差损失函数
SVM合页损失函数
Cross Entropy交叉熵损失函数
目标检测中常用的Smooth L1损失函数。其中还会涉及到梯度消失、梯度爆炸等问题:
ESM均方误差+Sigmoid激活函数会导致学习缓慢;Smooth L1损失是为了解决梯度爆炸问题
均方差损失函数
ESM均方误差+Sigmoid
交叉损失
svm合页损失
Smooth L1损失
第一,采用sigmoid等函数,算激活函数是(指数运算),计算量大;反向传播求误差梯度时,求导涉及除法,计算量相对大。而采用Relu激活函数,整个过程的计算量节省很多。
第二,对于深层网络,sigmoid函数反向传播时,很容易就会出现梯度消失的情况(在sigmoid接近饱和区时,变换太缓慢,导数趋于0),这种情况会造成信息丢失,梯度消失在网络层数多的时候尤其明显,从而无法完成深层网络的训练。
第三,ReLU会使一部分神经元的输出为0,这样就造成了网络的稀疏性,并且减少了参数的相互依存关系,缓解了过拟合问题的发生。