1. linear classifier
f(x,W) = Wx + b
f(cx,W) = W(cx) = c*f(x,W)
线性分类器的理解:
1. 模式匹配
图像,没有保持原始的尺寸,被压缩成向量。
线性分类器的weight,resize之后也可以变成template或者filter的式样。
2. 向量空间的样本划分
分类器本身就是高维的平面
三种视角,线性代数、模板匹配、高维几何
2. 损失函数:
训练的过程就是优化损失函数,以获得更好的模型。
2.1 SVM loss:
正确类别的得分要比其他的都要高,高多少可以设置,这里设置的是1。
每一个样本,按照下面的公式计算,除了gt label之外的所有类别;合计的loss,就是所有样本的sum/n。
debug的方法,结合参数的初始化,以及loss的定义,可以预期训练开始的loss应该是多少,收敛之后应该是多少。
loss相同,但是可能有很多种不同组合的weight,哪些好哪些不好呢?
加入正则,控制不同的weight,但是loss相同
1. 用于防止过拟合
2. 加入规则的方法
3. 对导数有优势
常用的正则方法:L1,L2, Dropout, BatchNormalization等
l2的正则,会让模型的权重尽量分布,让模型尽量使用多的特征。
l1的正则,会让模型的权重尽量集中,让模型更聚焦某些特征。
2.2 Cross-Entropy loss:
softmax, 先概率化
目标概率分布已知,求解当前概率分布和目标概率分布的相关性,并进行优化。