http://ningyuwhut.github.io/cn/2018/01/gradient-of-svm-loss/
svm的损失函数:
代表的是预测不正确(j!=yi)的时候,其他类的最高预测分数+delta要尽可能的低于正确类的预测分数。
- 我们希望wyixi - (wjxi + delta)越大越好(正确类分数要最高)。
- 损失的定义就是要尽可能缩小的东西,wjxi + delta - wyixi。
- 梯度分三种情况。
一种是max里面的东西=0,即本来括号里面的就<=0的时候,这个时候正确类分数就是最高,损失和梯度都为0。
一种是里面>0。这个时候对于wj的梯度是xi,对于wyi的梯度是-xi。wyi和wj分别是对于正确类和错误类矩阵的参数。