本文详细介绍了机器学习和深度学习中的各种损失函数，包括分类损失如hinge loss、指数损失、交叉熵、focal loss，回归损失如L1、L2、Huber loss，以及分布损失如KL散度、JS散度。此外，还讨论了对比损失如triplet loss在特征学习中的应用，和在特定任务中的特例，如BCE loss、dice loss、perceptual loss等。
本文主要讲一下机器学习/深度学习里面比较常见的损失函数。
hinge loss
其中y是标签，要么为1（正样本），要么为-1（负样本）。hinge loss被使用在SVM当中。对于正确分类的f(x)预测值，并且|f(x)|>=1，那么不会被计算到损失函数当中。只有那些错误分类，或者分类置信度不够（|f(x)|<1），才会计入损失，所以SVM对正确分类的离群点不敏感，不会鼓励分类器过分自信，更关注错误分类的那些样本。
指数损失
指数损失被用到adaboost算法当中，对错误分类的离群点比较敏感。
cross entropy
交叉熵是深度学习中最常见的分类损失函数，对数损失本质上也是交叉熵损失，可以通过定义推导出来：推导过程。
二分类交叉熵损失函数：
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
1906
