【计算机视觉与深度学习】线性分类器（一）

从线性分类器开始

• 线性分类器形式简单，易于理解。
• 通过层级结构（神经网络）或高维映射（支持向量机）可以形成功能强大的非线性模型。

线性分类器的定义

线性分类器是一种线性映射，将输入的图像特征映射为类别分数。线性分类器定义如下：$$f_i(\mathbf{x},{\mathbf{w}}_i)={\mathbf{w}}_i^T\mathbf{x}+b_i,i=1,2,...,c$$其中$\mathbf{x}$代表输入的$d$维图像向量，$c$为类别个数，${\mathbf{w}}_i={\begin{array}{c}\left[\begin{array}{cccc}{w}_{i1}& w_{i2}& ...& w_{id}\end{array}\right]\end{array}}^T$为第$i$个类别的权值向量，$b_i$为偏置。如果$f_i(\mathbf{x})>f_j(\mathbf{x})$，则决策输入图像$\mathbf{x}$属于第$i$类。

线性分类器的决策步骤

1. 将图像表示为向量。
   假设我们有一张图片$$\begin{array}{c}\left[\begin{array}{cc}56& 231\\ 24& 2\end{array}\right]\end{array}$$将其转换为向量的形式即为$$\mathbf{x}=\begin{array}{c}\left[\begin{array}{c}56\\ 231\\ 24\\ 2\end{array}\right]\end{array}$$
2. 计算当前图片每个类别的分数。
   假设我们当前需要完成的是一个三分类任务（将图片划分为汽车类、猫类、鸟类的其中一种），线性分类器为$$f_i(\mathbf{x},{\mathbf{w}}_i)={\mathbf{w}}_i^T\mathbf{x}+b_i,i=1,2,3$$其中权值矩阵$${\mathbf{w}}_i^T=\begin{array}{c}\left[\begin{array}{cccc}0.2& -0.5& 0.1& 2.0\\ 1.5& 1.3& 2.1& 0.0\\ 0& 0.25& 0.25& -0.3\end{array}\right]\end{array}$$偏置$$b_i=\begin{array}{c}\left[\begin{array}{c}1.1\\ 3.2\\ -1.2\end{array}\right]\end{array}$$也就是说，对于汽车类，有$${\mathbf{w}}_1^T=\begin{array}{c}\left[\begin{array}{cccc}0.2& -0.5& 0.1& 2.0\end{array}\right]\end{array}$$对于猫类，有$${\mathbf{w}}_2^T=\begin{array}{c}\left[\begin{array}{cccc}1.5& 1.3& 2.1& 0.0\end{array}\right]\end{array}$$对于鸟类，有$${\mathbf{w}}_3^T=\begin{array}{c}\left[\begin{array}{cccc}0& 0.25& 0.25& -0.3\end{array}\right]\end{array}$$我们很容易就能求得步骤1中的图片向量$\mathbf{x}$在3个类别的得分$f_i(\mathbf{x})(i=1,2,3).$下面给出计算过程：$$f_1(\mathbf{x})={\mathbf{w}}_1^T\mathbf{x}+b_1=-96.8$$ $$f_2(\mathbf{x})={\mathbf{w}}_2^T\mathbf{x}+b_2=437.9$$ $$f_3(\mathbf{x})={\mathbf{w}}_3^T\mathbf{x}+b_3=61.95$$
3. 按类别分数判定当前图像的类别。
   根据上面的计算结果，我们判定图像应属于第2类，即猫类。

线性分类器的矩阵表示

线性分类器的矩阵表示为$$\mathbf{f}(\mathbf{x},\mathbf{W})=\mathbf{W}\mathbf{x}+\mathbf{b}$$其中，$\mathbf{x}$代表输入图像，其维度为$d$；$\mathbf{f}$为分数向量，其维度等于类别个数$c$；$\mathbf{W}={\begin{array}{c}\left[\begin{array}{cccc}{\mathbf{w}}_1& {\mathbf{w}}_2& ...& {\mathbf{w}}_c\end{array}\right]\end{array}}^T$为权值矩阵，${\mathbf{w}}_i={\begin{array}{c}\left[\begin{array}{cccc}{w}_{i1}& w_{i2}& ...& w_{id}\end{array}\right]\end{array}}^T$为第$i$个类别的权值向量；$\mathbf{b}={\begin{array}{c}\left[\begin{array}{cccc}{b}_1& b_2& ...& b_c\end{array}\right]\end{array}}^T$为偏置向量，$b_i$为第$i$个类别的偏置。

线性分类器的${\mathbf{w}}_i^T$如何理解

下面以CIFAR-10数据集（每张图片样本的大小为32×32×3）为例，将线性分类器的权值向量${\mathbf{w}}_i$转化为32×32×3的矩阵，并将数值归化到$[0,255]$区间，以图片的形式表示：

可见，上面的每一个模板都记录了每一个类别的统计信息。待决策图片与模板图片越相似，根据线性分类器的定义计算出的类别分数$f$就越大。
总结一下，权值可以看做是一种模板，输入图像与评估模板的匹配程度越高，分类器输出的分数就越高。

线性分类器的决策边界

从几何学角度来说，对于具有二维特征的图片分类问题，类别分数等于0的线，即$${\mathbf{w}}_i^T\mathbf{x}+b_i=0,i=1,2,...,c$$就是决策面。推广到更高维特征的图片依旧适用。分类器实质上学习的就是决策边界。权值$\mathbf{w}$控制着决策边界的方向，偏置$b$控制着决策边界的偏移。在上图中，箭头方向代表分类器的正方向，沿着分类器的正方向距离决策边界越远，类别分数就越高。

线性分类器的损失函数

损失函数的定义

损失函数搭建了模型性能与模型参数之间的桥梁，指导模型参数优化。损失函数用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值，该值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果。
损失函数的一般定义为$$L=\frac{1}{N}\sum _i{L}_i(f({\mathbf{x}}_i,\mathbf{W}),y_i)$$其中${\mathbf{x}}_i$表示数据集中第$i$个样本，$f({\mathbf{x}}_i,\mathbf{W})$表示分类器对${\mathbf{x}}_i$的类别预测，$y_i$为样本$i$的真实类别标签，$L_i$为第$i$个样本的损失值，$L$为数据集的损失值，是数据集中所有样本损失的平均值。

多类支持向量机损失

记线性分类器为$$s_{ij}=f_j({\mathbf{x}}_i,{\mathbf{w}}_j,b_j)={\mathbf{w}}_j^T{\mathbf{x}}_i+b_j$$其中$j$表示类别标签，$j=1,2,...,c$，${\mathbf{w}}_j,b_j$表示第$j$个类别分类器的参数，${\mathbf{x}}_i$表示数据集中的第$i$个样本，$s_{ij}$表示第$i$个样本第$j$类别的预测分数。则第$i$个样本的多类支持向量机损失定义为$$L_i=\sum _{j\ne y_i}\max (0,s_{ij}-s_{y_i}+1)$$其中$s_{y_i}$表示第$i$个样本真实类别的预测分数。损失函数中在$s_{ij}-s_{y_i}$后面加$1$是加了一个边界，这样可以使损失值的计算更稳定。当正确类别的得分比不正确类别的得分高出1分及以上时，就没有损失，否则就会产生损失。

$\max (0,\cdot )$损失常被称为折页损失 (hinge loss)。

下面给出一组多类支持向量机损失的计算示例。
假设有三个类别的训练样本各一张，线性分类器为$\mathbf{f}(\mathbf{x},\mathbf{W})=\mathbf{W}\mathbf{x}+\mathbf{b}$，其中$\mathbf{W},\mathbf{b}$已知，分类器对三个样本的打分如下：

当前分类器对于样本1的损失为$$L_1=\max (0,-2.3-0.6+1)+\max (0,1.9-0.6+1)=2.3$$对于样本2的损失为$$L_2=\max (0,1.7-2.9+1)+\max (0,2.3-2.9+1)=0.4$$对于样本3的损失为$$L_3=\max (0,3.1-4.3+1)+\max (0,-2.6-4.3+1)=0$$则当前分类器对于整个数据集图像的损失为$$L=\frac{1}{N}\sum _{i=1}^N{L}_i=\frac{2.3+0.4+0}{3}=0.9$$