Loss设计

在逻辑分类问题中常常使用交叉熵损失函数CrossEntropy Error作为loss
在线性回归问题中常常使用MSE(Mean Squared Error)作为loss函数使用了MSE就不适合再加上sigmoid函数了
https://blog.csdn.net/q1552211/article/details/121315769

只有一种分类的可能性 逻辑分类问题 即CE loss
softmax + 交叉熵
有多种分类的可能性 逻辑回归问题 sigmoid function又叫logistic function 即BCE loss
sigmoid + 交叉熵
https://blog.csdn.net/tsyccnh/article/details/79163834

Loss设计的方法
只要这个loss函数可微就满足梯度下降的要求就可以作为Loss函数
loss设计三部曲：
任务目标—》评价指标—》损失函数
三者越贴约好，因为我们一般只能通过优化损失函数来优化评价指标，从而优化任务目标。如果损失函数与评价指标不太贴，而评价指标与任务目标也不太贴，这误差传递起来就大了。

常见损失函数总结
https://blog.csdn.net/weixin_38353277/article/details/124589446

Hinge loss 也叫max margin loss
https://blog.csdn.net/xkc_0706/article/details/78913209

Hubor loss
https://zhuanlan.zhihu.com/p/358103958

LogSumExp
https://blog.csdn.net/yjw123456/article/details/121869249

BCE Loss
https://blog.csdn.net/Just_do_myself/article/details/123393900