损失函数（Loss Function）和优化损失函数（Optimization）

https://blog.csdn.net/qian2213762498/article/details/82832163

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。
对单个例子的多分类SVM损失函数：

除了正确类以外的所有类别得分相加，如果正确类别得分比错误类别得分高很多（高出某个临界值，这里应该是1），则这张图像的损失函数为0；如果错误类别分数比正确类别分数高，则为损失函数为两者的差值。也称合页损失函数。
右上角的图，x轴为训练集中第i张图像通过分类器在正确类别标签上得到的分数，y轴表示loss。随着syi的增大，损失函数越来越小，超过某个临界值就变为0。

整个训练集的损失函数为单张图像的损失函数相加。