一、损失函数的计算公式:
s(j)表示该类别错误分类为其他类别的估计分数。s(y(i))表示该类别正确的估值分数。这是基础的概念。
上式还可以进一步表示为矩阵向量相乘的形式:
其中w(j)表示权重矩阵中的每一个列向量,而每一个x(i)则代表着每个被抽成列向量的二维图片矩阵(应该是这个样子理解的,但是这个写法可能会看晕。)
二、求损失函数关于权重矩阵的梯度:
梯度求导相对于softmax(另一种线性分类器)就简单了很多,没有复杂的指数求导,我们发现对于w来说,还是一共有w(j)