cs231n 课程学习 二

cs231n 课程学习 二

cs231n 课程资源：Stanford University CS231n: Convolutional Neural Networks for Visual Recognition

我的 github 作业：FinCreWorld/cs231n: The assigments of cs231n (github.com)

第二章 线性分类器

本章介绍线性分类器，其包括两个主要的组成部分评价函数（score function）以及损失函数（loss function）

• 评价函数：针对样例输入，输出其在不同分类上的分数，该分数为分类的依据
• 损失函数：量化预测分数与真实标签（ground truth labels）的差距

最后我们将通过优化评价函数的参数，将损失函数最小化，从而将分类问题转化为优化问题。

一 构造评价函数

定义评价函数 $f:R^D\to R^K$，构造从 $D$ 维数据点到 $K$ 维分类分数的映射。构造线性映射
$$f(x_i,W,b)=W{x}_i+b$$
其中 $x_i$ 为 $D\times 1$ 维数据点，权重 $W$ 为 $K\times D$ 维矩阵，$b$ 为 $K\times 1$ 维偏差向量。

• $W{x}_i$ 实质上是并行的 $K$ 个分类器对 $x_i$ 进行预测，$W$ 每一行都可以看做一个独立的分类器
• 训练过程中，输入数据 $(x_i,y_i)$ 是不可变的，我们的目的获取到合适的参数 $W,b$，使得针对输入数据，我们能够在正确的分类上获取到较高的分数
• 该模型训练时间较长，预测时只需要将数据代入公式即可，因此预测时间较短

我们可以通过为每个数据最后一位添 1 的方式，将 $b$ 合并入 $W$ 中，即
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ f(x_i,W,b)&=(W…

二 线性分类器理解

模式匹配的角度

$x_i$ 实际上对应了一幅图片中所有像素点以及色彩通道的数值。对于不同的物体，其图像像素分布不同，颜色也不同。对于轮船，可能蓝色居多，对于鸟类，可能较多出现在图像的边缘。

过更改权重 $W$，我们可以更加侧重于采样某些位置的像素点以及某些颜色的像素点，如果某一幅图片在这些像素点中具有较高的值，那么该图像在该分类器中就会取得较高的分数。

如上图所示，权重 $W$ 第一行用于分类出小猫，第二行用于分类出小狗，第三行用于分类出轮船，我们可以看出，小猫分类器更侧重于 $x_i^1,x_i^4$（这些位置权重为 0.2），更不喜欢 $x_i^2$，当数据点 $x_i^1,x_i^4$ 有较大值，$x_i^2$ 有较小值时，其在小猫类别上的得分就更高。

因此，权重 $W$ 的每一行均为一个模板（template），我们将这些模板与输入图像进行匹配，学习到每个分类最佳的匹配模板。

上图就是我们学习到模板，可以看到 plane 和 ship 中蓝色居多，同时不同的图像称对称分布，这是因为我们的输入图像拥有不同的朝向。

进一步的，我们可以从最近邻分类器的角度来理解，我们学习到了 $W$，就相当于学习到了 $K$ 种每个类别对应的模板，对于给定的图像，我们找出距离测试样例最近的模板，该模板对应的分类即为测试样例的分类。

高维空间的角度

我们可以把每个 $D$ 维数据样例 $x_i$看做高维空间的一个点，每一个权重 $W_i$ 决定了一个超平面，一侧是其所属类，一侧是其他类。

三 损失函数

我们通过损失函数来衡量预测结果与实际标签之间的不匹配程度，很自然的，如果预测结果与实际标签不匹配，那么损失函数的值就应该高，如果预测正确，损失函数的值就应该较低。

多分类支持向量机（Multiclass Support Vector Machine）

SVM 要求对于正确类别的预测分数至少要比错误类别的分类分数高 $\Delta$。给定样例 $x_i$，我们计算出分类结果 $f(x_i,W)$，分类结果为 $K\times 1$ 维向量，$f(x_i,W{)}^j$ 为对于第 $j$ 类的分类分数，我们令 $s_j=f(x_i,W{)}^j$ 代替，正确分类标签为 $y_i$（注，如果有 $K$ 个类别，那么 y i ∈ { 0 − 9 } y_i\in\{0-9\} yi​∈{0−9}），我们定义样例 $x_i$ 的预测损失为
$$L_i=\sum _{j\ne y_i}\max (0,s_j-s_{y_i}+\Delta )$$
如果我们使用线性分类器 $f(x_i,W)=W{x}_i$，那么我们可以写出如下式子
$$L_i=\sum _{j\ne y_i}\max (0,w_j{x}_i-w_{y_i}{x}_i+\Delta )$$
$W$ 并不唯一，假设我们学习到了一个 $W$ 使得任意 $x_i$ 都有 $L_i=0$，那么对于 $W^{\prime }=\lambda W(\lambda >1)$ 来说， 也满足所有损失值为 0 的条件。因此我们需要对 $W$ 进行限制，我们可以为损失函数增加正则惩罚项 R(W)。

最后我们得到了一个完整的损失函数，包括数据损失（data loss）和正则损失（regularization loss）
$$L=\underset{\text{data loss}}{\underbrace{\frac{1}{N}\sum _i{L}_i}}+\underset{\text{regularization loss}}{\underbrace{\lambda R(W)}}$$
我们通常定义 $R(W)$ 为 $W$ 的 L2 范数，即 $R(W)={\sum }_k{\sum }_l{W}_{k,l}^2$ 限制权值的增大，表示我们喜欢更小的权值。同时正则项的引入能够增加泛化精度，因为我们避免了某几个权重拥有较大的值。损失函数的展开形式为
$$L=\frac{1}{N}\sum _i\sum _{j\ne y_i}\max (0,f(x_i;W{)}_j-f(x_i;W{)}_{y_i}+\Delta )+\lambda \sum _k\sum _l{W}_{k,l}$$

Softmax 分类器

对于样例 $x_i$，其分数 $f(x_i,W)$ 保持不变，但是我们将分数 $f$ 看做不规整的 $\log$ 概率（unnormalized log probabilities），并且采用了交叉熵的形式，有
$$L_i=-\log (\frac{e^{f_{y_i}}}{\sum {}_j{e}^{f_j}})$$

这里的 $f_j$ 与上面 svm 的 $s_j$ 表示含义一致

注意到，我们称 $f_j(x)=\frac{e^{x_j}}{{\sum }_k{e}^{x_k}}$ 函数为 softmax 函数，该函数用于将向量 $x$ 的所有分量上的值压缩到 $0-1$，并且总和为 $1$。

Softmax 分类器的解释

• 信息论视角

  对于真实的事件分布 $p$ 和估计的事件分布 $q$ 之间的交叉熵定义为
  $$H(p,q)=-\sum _{x}p(x)\log q(x)$$
  Softmax 分类器用于最小化估计事件的概率与真实事件发生概率之间的交叉熵。估计事件概率为$q=\frac{e^{f_{y_i}}}{{\sum }_j{e}^{f_j}}$，而实际事件发生概率为 $p=[0,...,1,...,0]$，其中 $p_{y_i}=0$。KL 散度用于衡量两种时间分布之间的距离，而 $H(p,q)=H(p)+D_{KL}(p||q)$，事件 $p$ 的熵$H(p)=0$，因此有$H(p,q)=D_{KL}(p||q)$，将事件发生概率交叉熵之后可得 $H(p,q)=D_{KL}(p||q)=-\log (\frac{e^{f_{y_i}}}{\sum {}_j{e}^{f_j}})$

• 概率论视角

  详情参考聊一聊机器学习的MLE和MAP：最大似然估计和最大后验估计 - 知乎 (zhihu.com)

保持数据不溢出

由于 softmax 分类器中存在大量的指数操作，因此需要一些小技巧防止溢出，有
$$\frac{e^{f_{y_i}}}{{\sum }_j{e}^{f_j}}=\frac{C{e}^{f_{y_i}}}{C{\sum }_j{e}^{f_j}}=\frac{e^{f_{y_i}+\log C}}{{\sum }_j{e}^{f_j+\log C}}$$
我们使 $\log C=-\max f_j$ 可以避免溢出