全球名校课程作业分享系列(2)--斯坦福计算机视觉与深度学习CS231n之SVM图像分类

课程作业原地址：CS231n Assignment 1
作业及整理：@谭斌 && @Molly && @寒小阳
时间：2018年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/70214565

任务背景

用支持向量机(SVM)的方法去完成图像识别多分类的任务

• 完成一个基于SVM的全向量化损失函数
• 完成解析梯度的全向量化表示
• 用数值梯度来验证你的实现
• 使用一个验证集去调优学习率和正则化强度
• 运用随机梯度下降去优化损失函数
• 可视化最后的学习得到的权重

线性SVM分类器

可以简单地认为，线性分类器给样本分类，每一个可能类一个分数，正确的分类分数，应该比错误的分类分数大．为了使分类器在分类未知样本的时候，鲁棒性更好一点，我们希望正确分类的分数比错误分类分数大得多一点．所以我们设置一个阈值$\Delta$，让正确分类的分数至少比错误分数大$\Delta$，这是我们期望的安全距离。这就得到了hinge损失函数．

$$L_i = \sum_{j\neq y_i}max(0,S_j-S_{y_i}+\Delta )$$ 其中， $L_i$ 表示第i个样本的loss函数． $S_{y_i}$ 表示第i个样本正确分类的标签的分数， $S_j$表示第i个样本对应某个标签的分数． 当我们将线性方程