深度学习之损失函数

损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:𝐿(𝑦^ , 𝑦).
我们通过这个𝐿称为的损失函数，来衡量预测输出值和实际值有多接近。一般我们用预
测值和实际值的平方差或者它们平方差的一半，但是通常在逻辑回归中我们不这么做，因为优化目标不是凸优化，只能找到多个局部最优值，梯度下降法很可能找不到全局最优值，虽然平方差是一个不错的损失函数，但是我们在逻辑回归模型中会定义另外一个损失函数。
我们在逻辑回归中用到的损失函数是：𝐿(𝑦^ , 𝑦) = −𝑦log(𝑦^) − (1 − 𝑦)log(1 − 𝑦^)
为什么要用这个函数作为逻辑损失函数？

当我们使用平方误差作为损失函数的时候，你
会想要让这个误差尽可能地小，对于这个逻辑回归损失函数，我们也想让它尽可能地小，为
了更好地理解这个损失函数怎么起作用，我们举两个例子：

当𝑦 = 1时损失函数𝐿 = −log(𝑦^)，如果想要损失函数𝐿尽可能得小，那么𝑦^就要尽可能大，
因为 sigmoid 函数取值[0,1]，所以𝑦^会无限接近于 1。
当𝑦 = 0时损失函数𝐿 = −log(1 − 𝑦^)，如果想要损失函数𝐿尽可能得小，那么𝑦^就要尽可
能小，因为 sigmoid 函数取值[0,1]，所以𝑦^会无限接近于 0。

多谢关注，后续还会继续分享，欢迎大家一起来学习⊙ω⊙