chapter-3-损失函数和优化

损失函数

上一章我们了解了线性分类器的函数形式:f(x,W) = x * W +b。

有时候我们想了解它的分类性能，为此我们定义了损失函数(loss function，也称目标函数或代价函数)：

其中N是输入数据的数量，yi是我们理想的结果向量。例如，对一个共有3类的数据集，属于第一类的数据的yi为(1,0,0)T。Li是单个数据的损失函数，L为所有输入数据的损失函数的平均值。通过这一方式，我们就能定量的描述W和b的好坏。

这里Li的计算方式为：枚举每一个错误分类的值与正确分类的差，再用这个值加上设定好的安全边界值。若和小于等于0，则该错误分类的损失为0；否则损失即为和。计算每个错误分类的损失并求和，记为该分类的损失。

如下图为例，猫的损失函数值为(设安全边距为1)：
max(5.1 + 1 - 3.2,0) + max((-1.7) + 1 - 3.2,0) = max(0 , 2.9) + max(0 , -3.9) = 2.9 。

而汽车的损失函数为0，青蛙的损失为12.9。总的损失即为(2.9 + 0 + 12.9) / 3 = 5.3。

这种损失函数由于其函数图像的样子，也被称为折页损失函数：