【深度之眼cs231n第七期】笔记（三）

线性分类器

神经网络可以由很多小的网络组成，就像一个大积木是由很多小的基本块组成一样。
比如我们想要一个模型：输入一幅图像，然后输出描述图片的句子。那么我们可以让卷积神经网络只关注图片，循环神经网络只关注语言，然后把两个网络组合在一起，就像搭积木一样，最后得到我们想要的模型。
而线性分类器是参数模型中最简单的例子，相当于积木中最基础的块。

在CIFAR中，我们将写一个关于图像x和参数W的函数F，输出是10个数字，代表10个类别的分数。我们希望W能总结训练数据中的知识，这样最后预测时就有可能运行在较小的终端设备上了。
假设我们的输入是32*32*3的一副图像，那么我们想要得到10个分数，我们的W就需要是10*3072大小的。我们通常还会添加一个偏置项，它是10*1的向量。它是关于类偏好的。比如，你的数据不均衡，猫的数据多于狗的。那么，猫这一项的偏置项就会比其他的高。

这里有个简单的例子关于线性分类器是如何运作的。这里的W和b就是我们想要训练得到的东西。
线性分类器也称为模板匹配，因为W矩阵中的每一行对应于