神经网络可以通过逻辑回归来对输入进行预测。
那么神经网络是如何判断自己的预测结果是否准确呢?
就跟我们学习一样,平时考试查验自己的学习方法是否有效,是按照分数来的,如果我们考的不好,我们是不是要调整学习方法,进而在下一次考试中取得更好的成绩。
那么损失函数就诞生了,损失函数就相当于我们平时的考试,来判断我们的学习方法(预测结果)是否准确。
有下面两个式子:
其中y^表示的是预测的结果。
上标i表示的是一个训练样本。
第二个式子表示的是激活函数。
那么,我们可以用什么损失函数来衡量我们的预测结果是否精确呢?
一般,损失函数运算后得出的结果越大,那么预测就与实际结果偏差越大,即预测的精度不高。
理论上我们可以用预测结果与实际结果的差的平方再乘以二分之一。但在实际实践中我们通常不会用他。实际用的损失函数往往复杂得多。
对单个训练样本我们定义了损失函数以后,我们对每一个样本的“损失”进行累加,然后求平均值,就得到了整个训练集的预测精度。**这种针对整个训练集的损失函数我们称之为成本函数。**计算结果越大,说明成本越大,即预测越不准确。