线性分类器SVM（1）

综述

我们提出一个更加有效地算法来处理图片分类。这个算法也是神经网络和卷积神经网络的基础。这个方法有两个组件：1、得分函数：将数据映射到类分数，2、损失函数：来计算预测分数和真实函数之间的差距。我们会把这个叫做优化问题。因为我们会尽可能的用改变得分函数的参数来降低损失函数的值。

把图片映射到标记分数上

第一个组件就是定义一个函数将图片的像素值映射到一个分类置信分数中去。我们会用一个很坚实的例子来开发这个方法。首先，我们假设一个图片数据集每个都相关一个这里有i=1…N并且。也就是说我们有N个例子（每个都由维数D）并且有k个不同区间。例如，在CIFAR-10中我们有一个训练集有N=50000个图片（狗，猫，汽车等）。我们会定义一个函数。来映射这些图片像素到类分数上。

线性分类器

在这个模块我们会开始最简单的函数，线性映射：

在以上的等式中，我们假设一个图片将它所有的像素转换为一个单独的向量形式[D * 1]。这个矩阵W([K*D]大小)，并且向量B（大小[K*1]）是函数中的参数。在CIFAR-10中，包含了所有的第i个图片的像素就被映射到一行[3072*1]的向量中去了，W 是[10 * 3072]和b是[10 * 1]的向量，因此3072个数组就变成了一个函数的参数并且产生10个类别的分数。W中的参数经常被叫做权重，并且b叫做偏差向量因为它影响结果分数，但是不需要在真实数据中体现。然而，你会经常听到人们交替地使用权重和参数。

解释一个线性分类器

一上是一个映射图片到类分数地例子。对于一个假的可视化，我们假设图片有四个像素（四个单色像素，我们不考虑颜色频道），并且我们有三种类型（红色(猫)，绿色（狗），蓝色（船））到RGB元素。我们展开图片像素到行中并且操作矩阵乘法来获取每一个类别的分数。记住这个特别地权重并不是很好。把猫地分数给的太低。特别的，这个权重看起来这张图片更像一个狗。

高维向量类似分析

由于图片可以伸展维高维地行向量，我们可以把每个图片解释为空间中地一个点（例如，CIFAR-10中地每个图片都是一个3072维空间中地一个点）。类似地，整个数据集都是一个标记好的点集。
由于我们定义每个类型额分数作为一个所有图片像素集的全中集合。每个类分数都是一个空间中的线性函数。我们不能把3072维的数据可视化，但是如果我们想象压缩这些像素到二维，那么我们就能展示分类器做的了：

卡通化地展示图片空间，这里每一个图片都是弓箭中地一个点。这三个分类器也是可以看到的。用这里面汽车的分类器（红色地线），这条红色的线展示了所有空间中在汽车类别中分数为零的点。红色地箭头代表着增长方向，并且所有点在左边都是负的。