深度学习基础（三）loss函数

    loss函数，即损失函数，是决定网络学习质量的关键。若网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。若有错误，敬请指正，Thank you！

目录

一、loss函数定义

二、常见的loss算法种类

1.MSE(均值平方差)

2.交叉熵

三、总结

四、tensorflow相应函数

1.MSE

2.交叉熵

---

一、loss函数定义

loss函数的作用就是描述模型的预测值与真实值之间的差距大小。我的理解是寻找一个标准来帮助训练机制随时优化参数，以便于找到网络的最高精度下的参数。这个标准不难理解，与我们日常生活中的很多事情一致，例如倒车入库，在你倒车的同时肯定会一边打方向盘一边看倒后镜一样（当然具备自动倒车入库功能的车除外），根据倒后镜中看到的停车线，随时调整以便能够准确入库，这个停车线就是标准。更通俗的来说，loss函数就是指导模型在训练过程中朝着收敛的方向前进。

 

二、常见的loss算法种类

1.MSE(均值平方差)

数理统计中演化而来，均方误差是指参数估计值和参数真实值之差平方的期望值。在此处其主要是对每个预测值与真实值作差求平方的平均值，具体公式如下所示：