svm的loss推导

http://ningyuwhut.github.io/cn/2018/01/gradient-of-svm-loss/

 svm的损失函数：

代表的是预测不正确(j!=yi)的时候，其他类的最高预测分数+delta要尽可能的低于正确类的预测分数。

1. 我们希望wyixi - (wjxi + delta)越大越好(正确类分数要最高)。
2. 损失的定义就是要尽可能缩小的东西，wjxi + delta - wyixi。
3. 梯度分三种情况。

一种是max里面的东西=0，即本来括号里面的就<=0的时候，这个时候正确类分数就是最高，损失和梯度都为0。

一种是里面>0。这个时候对于wj的梯度是xi，对于wyi的梯度是-xi。wyi和wj分别是对于正确类和错误类矩阵的参数。