线性分类器损失函数与最优化

SVM损失函数的定义：

对于猫来说，期待中其他种类的预估评分不应该大于2.2，否则损失函数就不为0了。2.9则表示该结果不理想的程度。

对每一张测试图片进行损失函数的计算之后得：平均损失函数

对于不同的权重矩阵W可能都会使损失函数为零。那么如何确认矩阵W呢？（使用正则化）

正则化是为了权衡你的训练损失和你用于测试集的泛化损失。所以正则化是一系列通过损失来使目标相加的技术。使得W满足某种形式。她可能会使得训练结果变差，但使测试结果变得更好。

正则化的方法：

regularization:正则化。

正则表达式要做的就是尽可能的展开W的权重，以便于考虑所有输入特征或者说所有像素。

支持向量机与softmax（多项逻辑斯蒂回归）分类器的区别：

    首先两者都是线性分类器。

softmax分类器损失函数计算：

依次为：计算指数，指数归一，计算损失函数。

两种方法计算损失函数的过程：

然后是：如何优化权值矩阵W：

一、随机检举直到找到使损失函数最小的矩阵

二、梯度下降法

求解过程：

相当于是对W中的每一个分量求其偏导数，选择其梯度为负，既使得损失函数变小的方向。

但是该方法计算量太大。实际应用中我们经常使用微分法和训练集抽样的方法来解决这类问题。