斯坦福CS231n 课程学习笔记--线性分类器（笔记篇）

最近学习了斯坦福的CS231n(winter 2016)系列课程，收获很大，作为深度学习以及卷积神经网络学习的入门很是完美。学习过程中，主要参考了知乎上几位同学的课程翻译，做得很好，在这里也对他们表示感谢，跟课程相关的很多资源都可以在该专栏中找到。推荐大家把每个笔记的翻译都完整的看一下。关于该课程视频的中文字幕也在翻译进行中，目前第一集已经翻译完成，感兴趣的同学可以也可以看看参与进去。此外，完成课程视频和笔记的阅读之后也对课程的3个Assignment进行了实现。接下来主要以对课程笔记总结和Assignment代码实现相结合的方式完成这一系列的博客。

本篇博客主要参考了课程的官方笔记和知乎上关于线性分类器笔记的三篇翻译。如下图：

主要从评分函数，损失函数，参数优化三个部分进行介绍，这也是大多数分类器的三大组件，分别对应于模型、目标、学习。
首先说一下数据集（包括训练集、验证集（用于超参数调优）和测试集），训练集X是一个大小为[N*D]的矩阵，表示共有N个样本，每个样本都由D维特征构成；y是其标签，大小为[1*N]，分别对应N个样本，且yi属于1,2,3…,C，共有C个类别。

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

1，评分函数就是一个将原始图像数据转换到分类标签的参数化映射（Parameterized mapping from images to label scores）。对于线性分类器而言，就是下面的线性映射：
………………………………………………………………. f(xi, W, b) = Wxi + b ……………………………………………………………………..
xi为一张图片拉伸成一个长度为D的列向量，W是大小为[C，D]的权重矩阵，b是[C,1]的偏置向量，f最后为[C,1]的评分向量，表示样本在每一个类别上的得分。其中W的每一行都表示为一个类别的分类器，共C个类别，与xi相乘之后得到一个分数（可以理解为相似度），其实就是从训练集中为每一个类别抽象出一个模板保存在W中，然后将新的图像与这C个模板相比较，最相似的就当做是其类别。所以训练分类器的目的就是从训练集中学习到最优的参数W和b（其实可以通过给x和W分别扩展一个维度将b融到其中，见下图）。