专业英语（1、Linear Classification）

最新推荐文章于 2024-09-21 12:16:50 发布

Lyang-Never

最新推荐文章于 2024-09-21 12:16:50 发布

阅读量283

点赞数

分类专栏：学习复习文章标签：深度学习

本文链接：https://blog.csdn.net/qq_37690498/article/details/105815021

版权

学习复习专栏收录该内容

8 篇文章 0 订阅

订阅专栏

Parametric Approach: Linear Classifier

（参数化方法）：线性分类器

在这里插入图片描述

一个将图像映射到分类分值的例子。为了便于可视化，假设图像只有4个像素（都是黑白像素，这里不考虑RGB通道），有3个分类（红色代表猫，绿色代表狗，蓝色代表船，注意，这里的橙，紫和绿3种颜色仅代表分类，和RGB通道没有关系）。首先将图像像素拉伸为一个列向量，与W进行矩阵乘，然后得到各个分类的分值。需要注意的是，这个W一点也不好：猫分类的分值非常低。从上图来看，算法倒是觉得这个图像是一只狗。

线性分类器：

f(x_i,W,b)=Wx_i+b

在上面的公式中，假设每个图像数据都被拉长为一个长度为D的列向量，大小为[D x 1]。W: [K x D]的矩阵,b: [K x 1]列向量,为该函数的参数。
参数W被称为权重（weights）。b被称为偏差向量（bias vector），这是因为它影响输出数值，但是并不和原始数据xi
产生关联。
每个类的分类器就是W的一个行向量。
注意我们认为输入数据(x_i,y_i)是给定且不可改变的，但参数W和b是可控制改变的。我们的目标就是通过设置这些参数，使得计算出来的分类分值情况和训练集中图像数据的真实类别标签相符。
该方法的一个优势是训练数据是用来学习到参数W和b的，一旦训练完成，训练数据就可以丢弃，留下学习到的参数即可。
一个矩阵乘法和一个矩阵加法就能对一个测试数据分类，这比k-NN中将测试图像和所有训练数据做比较的方法快多了。

将图像看做高维度的点：

既然图像被伸展成为了一个高维度的列向量，那么我们可以把图像看做这个高维度空间中的一个点（即每张图像是3072维空间中的一个点）。

既然定义每个分类类别的分值是权重和图像的矩阵乘，那么每个分类类别的分数就是这个空间中的一个线性函数的函数值。我们没办法可视化3072维空间中的线性函数，但假设把这些维度挤压到二维，那么就可以看看这些分类器在做什么：
在这里插入图片描述

以红色的汽车分类器为例，红线表示空间中汽车分类分数为0的点的集合，红色的箭头表示分值上升的方向。所有红线右边的点的分数值均为正，且线性升高。红线左边的点分值为负，且线性降低。
W的每一行都是一个分类类别的分类器。对于这些数字的几何解释是：如果改变其中一行的数字，会看见分类器在空间中对应的直线开始向着不同方向旋转。而偏差b，则允许分类器对应的直线平移。需要注意的是，如果没有偏差，无论权重如何，在x_i=0时分类分值始终为0。这样所有分类器的线都不得不穿过原点。