机器学习学习日志--线性分类器

之前所讲的KNN是一种无参数的算法，我们只需要把要测试的数据跟已有的数据进行比较就可以得出结果，但是分类器必须要把所有的数据集保存下来，每一次比较都需要拿出来一个一个比较，复杂度很大...

    而线性分类器是CNN的基础，（我理解的就是一层神经网络），从linear classifier就需要参数的参与了。

    利用 CIFAR-10dataset的数据集进行学习

首先，最普通的图片是三色通路构成的三维矩阵，线性分类的方法是把这个图片的矩阵给拉长，比如图片是32*32*3的三维矩阵，那么我们就把这些点按照自己的规律依次拉成一个3072*1的矩阵，为了得到每个label的得分，（把label做成一个10*1的矩阵），我们就需要一个10*3072的矩阵，这个矩阵就是我们的第一个参数

 

 

这个W就是我们要找到的权重参数。当然，有一个W是完全不够的，我们还需要一个独立的b，也是权重参数，但是这个好像不需要通过学习来不断优化（没听太懂），这样经过Wx+b就可以得到一个标签的分值矩阵，得分最高的显然就是分类器得到的结果。

   andrej给了一个例子：

可以看到，我们把3072*1的矩阵假设成一个4*1的矩阵（这个图片只有四个像素点），有三种标签。

W的每一行都是一个标签的分类器，可以这样理解，W的第一行是我们用来计算猫的可能性值大小，第二行是用来计算狗的可能性值大小。

andrej之后将W的每一行又拉回成32*32*3的矩阵，我们可以看出plane这个标签的蓝色比重很大（因为飞机的图片往往有蓝天），而horse这个标签竟然有一个两个头的