损失函数的入门讲解

神经网络可以通过逻辑回归来对输入进行预测。
那么神经网络是如何判断自己的预测结果是否准确呢？
就跟我们学习一样，平时考试查验自己的学习方法是否有效，是按照分数来的，如果我们考的不好，我们是不是要调整学习方法，进而在下一次考试中取得更好的成绩。

那么损失函数就诞生了，损失函数就相当于我们平时的考试，来判断我们的学习方法（预测结果）是否准确。

有下面两个式子：
其中y^表示的是预测的结果。
上标i表示的是一个训练样本。
第二个式子表示的是激活函数。

那么，我们可以用什么损失函数来衡量我们的预测结果是否精确呢？
一般，损失函数运算后得出的结果越大，那么预测就与实际结果偏差越大，即预测的精度不高。

理论上我们可以用预测结果与实际结果的差的平方再乘以二分之一。但在实际实践中我们通常不会用他。实际用的损失函数往往复杂得多。

对单个训练样本我们定义了损失函数以后，我们对每一个样本的“损失”进行累加，然后求平均值，就得到了整个训练集的预测精度。**这种针对整个训练集的损失函数我们称之为成本函数。**计算结果越大，说明成本越大，即预测越不准确。