CS231n 3.1损失函数

损失函数
以W为输入，以W的表现为输出的函数叫做损失函数
损失函数的输出越小，W的拟合度越好
SVM损失函数
也叫作合页函数

Syi 是第i个样本的真实类的数据


公式中的“1”是一个可选择的值，成为自由参数，对于问题没有影响

问： 如果s大都接近于0，那么损失函数等于多少呢？
答： 类别数-1
问： 将所有的类求和，将得到的损失函数的值是多少？
答： 1
损失函数是你用来表示对不同错误重视程度的函数

问： 使损失函数为0的W是唯一的吗？
答： 当然不是

Regularization ：正则项，作为惩罚项
这个操作使得系统趋向于选择更简单的函数

L2 正则化更强调每个元素的作用
L1 则更加注重元素的集中度，更喜欢稀松解

Softmax 分类器
给了分数一些特殊的含义

问： 如果s大都接近于0，那么损失函数等于多少呢？
答： ？

两种函数的区别：
SVM达到预期后即停止
而Softmax则会不断更新

监督学习