-
均方误差(Mean Squared Error,MSE):
- 时间: 20世纪中叶早期。
- 描述: 通过计算模型预测值与实际值之间的平方差来衡量误差。
- 原理: 目标是最小化平方差,推动模型更接近实际数据分布。
-
交叉熵损失函数(Cross-Entropy Loss):
- 时间: 20世纪末至21世纪初。
- 描述: 用于测量两个概率分布之间的差异,包括二元交叉熵和多元交叉熵。
- 原理: 通过最小化预测分布与实际分布的交叉熵,促使模型更准确地预测类别。
-
Hinge Loss:
- 时间: 1990年代后期至21世纪初。
- 描述: 主要用于支持向量机(SVM)的训练,后来引入神经网络中,特别在图像分类领域。
- 原理: 鼓励模型产生更大的间隔,对于错误分类的样本施加惩罚。
-
Huber Loss:
- 时间: 20世纪末至21世纪初。
- 描述: 用于回归问题,结合了均方误差和绝对值误差,对异常值更具鲁棒性。
- 原理: 提供了均方误差和绝对值误差的平滑过渡,对异常值不那么敏感。
-
感知损失函数(Perceptron Loss):
- 时间: 20世纪中叶至20世纪末。
- 描述: 用于感知器模型,是一种阶跃函数形式的损失函数,主要用于二分类问题。
- 原理: 通过最小化误分类样本到决策边界的距离,推动感知器学习正确分类。
-
Focal Loss:
- 时间: 2017年。
- 描述: 用于解决类别不平衡问题,通过调节关注度参数提高模型对于困难样本的关注度。
- 原理: 对容易分类的样本降低权重,增强对难以分类的样本的关注度。
-
GAN 损失函数(Generative Adversarial Network Loss):
- 时间: 2014年。
- 描述: 由生成器和判别器组成,包括生成器损失和判别器损失,用于生成对抗网络。
- 原理: 通过生成器和判别器的博弈过程,推动生成器生成更逼真的样本,判别器更准确地区分真伪。
-
Dice Loss:
- 时间: 2016年左右。
- 描述: 用于医学图像分割等领域,评估预测和真实分割之间的相似性。
- 原理: 基于集合相似度,对重叠部分的预测和真实分割给予更高权重。
-
Triplet Loss:
- 时间: 2015年左右开始在人脸识别任务中引入。
- 描述: 用于学习相似性,尤其在人脸识别等领域应用广泛。
- 原理: 确保同类样本在嵌入空间中更接近,不同类样本更远离。
损失函数发展历程
最新推荐文章于 2024-09-10 13:47:50 发布