cs231学习笔记二 线性分类器、SVM、Softmax

课程地址：http://cs231n.github.io/linear-classify/

线性分类器

假设样本$x_i \in R^D,i = 1 \dots N$，对应类标签$y_i \in { 1 \dots K }$。现定义一个线性映射$f(x_i, W, b) = W x_i + b$，$W$是$K*D$的矩阵，$b$是$K$维的向量。$W$和$b$分别称作权重（或参数）和偏。

• $W$的每一行都是一个分类器，每个分类器对应于一个得分。
• 通过学习$W$和$b$，我们希望正确类的得分要大于错误类的得分。

• 相对于KNN，一旦训练得到$W$和$b$，我们只需将其固定，测试阶段直接用即可，就不再需要测试样本与训练样本再做比较，测试速度自然快上不少。

  

将图片的三维张量拉伸成列向量，则一张图片就可以表示成空间中的一个（带类标签）点。如此看来$W_i$是分类超平面的一次项系数，$b_i$则是常熟项。如果$b=0$，则所有分类超平面都过原点。

如果令$W=[W,b]$，$x_i=[x_i^T,1]^T$则$f=Wx_i$

机器学习中常将输入特征标准化。

Loss function

损失函数（loss function）也叫代价函数（cost function）或目标函数（objective）

多类SVM

对于样本$i$，定义第$j$类的得分$s_j = f(x_i, W)_j$，样本$i$的损失函数定义为$L_i = \sum_{j\neq y_i} \max(0, w_j^T x_i - w_{y_i}^T x_i + \Delta)$，即希望正确分类的得分至少比错误分类的得分多$\Delta$.
若$W$能正确分类所有的样本，则$\lambda W$也能正确分类所有的样本，这样学习出来的$W$就不唯一了。所以在总的损失函数中加入正则乘法项。其实加入加入正则项最主要的目的是增强模型的泛化能力

$L = \underbrace{ \frac{1}{N} \sum_i L_i }_\text{data loss} + \underbrace{ \lambda R(W) }_\text{regularization loss} \\\\$

$L = \frac{1}{N} \sum_i \sum_{j\neq y_i} \left[ \max(0, f(x_i; W)_j - f(x_i; W)_{y_i} + \Delta) \right] + \lambda \sum_k\sum_l W_{k,l}^2$