CS231n_线性分类器

1. linear classifier

f(x,W) = Wx + b

f(cx,W) = W(cx) = c*f(x,W)

线性分类器的理解：

1. 模式匹配        

图像，没有保持原始的尺寸，被压缩成向量。

线性分类器的weight，resize之后也可以变成template或者filter的式样。

 2. 向量空间的样本划分

分类器本身就是高维的平面

三种视角，线性代数、模板匹配、高维几何

 

 

2. 损失函数：

训练的过程就是优化损失函数，以获得更好的模型。

 

2.1 SVM loss:

正确类别的得分要比其他的都要高，高多少可以设置，这里设置的是1。

每一个样本，按照下面的公式计算，除了gt label之外的所有类别；合计的loss，就是所有样本的sum/n。

 

debug的方法，结合参数的初始化，以及loss的定义，可以预期训练开始的loss应该是多少，收敛之后应该是多少。

loss相同，但是可能有很多种不同组合的weight，哪些好哪些不好呢？

加入正则，控制不同的weight，但是loss相同

 1. 用于防止过拟合

2. 加入规则的方法

3. 对导数有优势

常用的正则方法：L1,L2, Dropout, BatchNormalization等

 l2的正则，会让模型的权重尽量分布，让模型尽量使用多的特征。

l1的正则，会让模型的权重尽量集中，让模型更聚焦某些特征。

2.2 Cross-Entropy loss:

softmax, 先概率化

目标概率分布已知，求解当前概率分布和目标概率分布的相关性，并进行优化。