损失函数总结（一）：损失函数介绍

1 引言

在网络模型进行训练时，激活函数、损失函数、优化器都会成为影响模型最终效果的关键因素。其中，激活函数和损失函数根据任务的不同又有不同的更新，而优化器往往只是优化策略的不同，即可以在不同的任务（分类、回归）上使用同一种优化器、同一优化器参数。

在上一个系列 史上最全激活函数总结篇（持续更新ing…）中详解介绍了各种激活函数，有兴趣的小伙伴可以去看下，顺便提一下建议。

而在这个全新的系列，我会给大家介绍各种各样不同的损失函数。不同的任务下（分类、回归、生成等）损失函数的使用往往是不同的。因此，也希望大家把自己关注的损失函数可以在评论区留言发给我，后续会对大家提及的损失函数进行介绍和更新。

2 损失函数是什么

损失函数是一个数学函数用来计算预测值和实际值之间的损失（差值、平方等策略）。
注意：这里所说的预测值和实际值可以是一个数值、一个类别，也可能是一个数组、一张图片。 另外，根据损失计算方式的不同，