SVM分类器中损失函数梯度求法及理解

一、损失函数的计算公式：

                                            

           s(j)表示该类别错误分类为其他类别的估计分数。s(y(i))表示该类别正确的估值分数。这是基础的概念。

           上式还可以进一步表示为矩阵向量相乘的形式：

                                                

            其中w(j)表示权重矩阵中的每一个列向量，而每一个x(i)则代表着每个被抽成列向量的二维图片矩阵（应该是这个样子理解的，但是这个写法可能会看晕。）

二、求损失函数关于权重矩阵的梯度：

            梯度求导相对于softmax（另一种线性分类器）就简单了很多，没有复杂的指数求导，我们发现对于w来说，还是一共有w（j）