基于SVM的思想做CIFAR-10图像分类

SVM

回顾一下之前的SVM，找到一个间隔最大的函数，使得正负样本离该函数是最远的，是否最远不是看哪个点离函数最远，而是找到一个离函数最近的点看他是不是和该分割函数离的最近的。

使用large margin来regularization。
之前讲SVM的算法：https://www.jianshu.com/p/8fd28df734a0

线性分类

线性SVM就是一种线性分类的方法。输入，输出，每一个样本的权重是，偏置项bias是。得分函数
算出这么多个类别，哪一个类别的分数高，那就是哪个类别。比如要做的图像识别有三个类别，假设这张图片有4个像素，拉伸成单列：

得到的结果很明显是dog分数最大，cat的分数最低，但是图片很明显是猫，什么分类器是错误的。
一般来说习惯会把w和b合并了，x加上一个全为1的列，于是有

损失函数

之前的SVM是把正负样本离分割函数有足够的空间，虽然正确的是猫，但是猫的得分是最低的，常规方法是将猫的分数提高，这样才可以提高猫的正确率。但是SVM里面是要求一个间隔最大化，提到这里来说，其实就是cat score不仅仅是要大于其他的分数，而且是要有一个最低阈值，cat score不能低于这个分数。
所以正确的分类score应该是要大于其他的分类score一个阈值：
就是正确分类的分数，就是其他分类的分数。所以，这个损失函数就是：只有正确的分数比其他的都大于一个阈值才为0，否则都是有损失的。