【2017年cs231n学习笔记2】Lecture3 损失函数 最优化

这节课的主要内容：
1. 定义一个损失函数（loss function），用将训练集代入其中获得的评分来量化W的好坏。
2. 找到一个高效的方法来寻找使损失函数最小的W，（我们称其为最优化optimization）

---

损失函数

首先我们定义损失函数的一般形式：
对于一个数据集

Xi代表输入进入分类器的图像像素数据，Yi代表你希望得出的标签。
我们定义其损失函数的一般形式为：

损失函数定义后，我们就需要考虑Li的定以了，这节课介绍了两种Li的形式，第一种是多类支持向量机。

多类支持向量机损失（Multiclass SVM loss）

对于给定的数据$（{x}_{i},{y}_{i}）$，和分类器函数$s=f(x_{i},W)$
我们定以其Multiclass SVM loss为

首先我们知道，$x _{i}$的类别是$y_{i}$，即在分类器得到的输出矩阵中，必然有一个元素是对应于 yi