cs231n 课程笔记 学习笔记#001

线性分类

原文：http://cs231n.github.io/linear-classify/

参考翻译：https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit

概述：这种方法用来解决图像分类问题。并且可以自然的延伸应用到神经网络/卷积神经网络上。由评分函数和损失函数组成。可转化为最优化问题，最优化过程是通过更新评分函数的参数来最小化损失函数值。

将图像映射到标签分值

首先定义一个评分函数，该函数将图像（像素值）映射为各个类别的得分，得分越高表示它属于这个类别的可能性越高。

线性映射就是最简单的这样一种映射：

大小：xi:(D, 1), W: (K, D), b: (K, 1)

其中：D为图像像素被拉成一维后的长度大小，K为目标类别的个数

训练是用来训练W和b的，训练完成后训练数据可以被丢弃，留下参数即可。

理解线性分类器

权重意味着对图像中某些未知的某种颜色的喜好。如「船」分类中在水面位置的蓝色的权重会比较重。

将一个图像看作高维度的点

图像像素被拉伸成了一维的列向量后，我们可以将这个列向量中的每个数据看作一个维度，则改图像可以看作是在D维中的一个点，函数f(xi, W, b) = 0则是该D维空间中的一条线。

把D维压到二维则很直观了：

W是分类器的斜率，b是分类器的bias，在箭头方向的得分为正。

将线性分类器看作模版匹配

另一个解释则将分类器的每一行（D个数据）对应一个模版，跟模版长得像的图像与之做内积结果也会高。

技巧：将x增加一个维度，数值为常量1，则可将W与b合并。

损失函数

定义损失函数来衡量我们对结果不满意的程度

SVM损失

SVM损失函数想要其在正确分类上的得分始终比不正确分类上的得分高出一个边界值

举例：假设三个分类的分值是其中第一个类别是正确的，那么是10时，该分类的损失就是

其中的max(0, -)被称为折叶损失 hinge loss。

正则化惩罚

只希望向某些特定的权重增加偏好，对另一些则不增加。

对大数值权重做惩罚，可以避免只依赖少数几个维度，而将所有维度都用起来，这将提升分类器的泛化能力，避免过拟合。

只正则化权重，不正则化偏差。

因为正则化的存在，损失函数不可能全为0。

Softmax分类器

将评分值Wxi视为每个分类的未归一化的对数概率，并用交叉熵损失替换折叶损失。

交叉熵损失：

在「真实」分布p和估计分布q之间的交叉熵定义如下：

「真实」分布即所有概率密度都分布在正确的类别上，如p = [1, 0, 0, …, 0]；估计分布概率即。所以最小化交叉熵损失函数就是想要预测分布的所有概率都在正确分类上。

从概率论的角度解释，这个式子可以看作是给定图像数据xi，以W为参数，分配给正确分类标签yi的归一化概率。前面提到Softmax分类器将评分值视为每个分类的未归一化的对数概率，那么以这些数值做指数函数的幂就得到了没有归一化的概率，再做除法操作就是归一化的概率。最小化正确分类的负对数概率，就是在进行最大似然估计。

数值稳定：

做指数函数的幂运算后数值可能非常大，除以大数值会造成数值计算不稳定，所以要做数值稳定操作：在分式的分子分母同乘常数C，并变换到求和中：

通常将C设为使最大值为0。

命名上的困惑：

准确的说，SVM分类器使用的是折叶损失，Softmax分类器使用的是交叉熵损失。softmax函数将原始分类评分变成正的归一化数值，所有数值和为1。