损失函数
上一章我们了解了线性分类器的函数形式:f(x,W) = x * W +b。
有时候我们想了解它的分类性能,为此我们定义了损失函数(loss function,也称目标函数或代价函数):
其中N是输入数据的数量,yi是我们理想的结果向量。例如,对一个共有3类的数据集,属于第一类的数据的yi为(1,0,0)T。Li是单个数据的损失函数,L为所有输入数据的损失函数的平均值。通过这一方式,我们就能定量的描述W和b的好坏。
这里Li的计算方式为:枚举每一个错误分类的值与正确分类的差,再用这个值加上设定好的安全边界值。若和小于等于0,则该错误分类的损失为0;否则损失即为和。计算每个错误分类的损失并求和,记为该分类的损失。
如下图为例,猫的损失函数值为(设安全边距为1):
max(5.1 + 1 - 3.2,0) + max((-1.7) + 1 - 3.2,0) = max(0 , 2.9) + max(0 , -3.9) = 2.9 。
而汽车的损失函数为0,青蛙的损失为12.9。总的损失即为(2.9 + 0 + 12.9) / 3 = 5.3。
这种损失函数由于其函数图像的样子,也被称为折页损失函数: