cs231n的svm以及softmax的梯度求解

cs231n-assignment1-SVM/Softmax/two-layer-nets梯度求解

• SVM梯度求导
  SVM的梯度求导要考虑两种情况，j==yi 和 j!=yi，此处 j表示误分类项，yi表示正确分类的项。比如，输入猫的图片，共有三个进行预测的类别：狗、猫和车。在进行预测的时候“猫”这一项就是ground true正确分类的项，其余两项“狗”和“车”就是误分类的项。可以根据course note中的例子进行理解：
  
  分别对这两种情况进行梯度求导，以下为笔记中的梯度求导公式：
  
  乍一看感觉怎么这么复杂，其实括号里面是个指示函数，对应原函数max的求导，只有在损失项大于零的时候，对应的求导值才大于零，上面的式子可以转换如下，更易于理解：
  
  第一种情况，j==yi,是针对正确项的梯度进行求偏导，也就是-WyiXi这一项；第二种情况，j!=yi,是针对误分类项的梯度进行求导，WjXi这一项。这里的分情况求导的思想也适用于Softmax和two-layer-nets的梯度求导。

• Softmax梯度求导
  Softmax与SVM，只是换了个损失函数，求导的思想类同，也需要分两种情况 j==yi 和 j!=yi , Softmax损失函数和求导步骤公式如下：
  
  具体看一下这个损失函数，这里的 f 对应着scores
  
  所以，这里要运用链式法则，对梯度求偏导一共有两层：
  
  dscores/dw比较简单，主要解释dloss/dscores：
  j!=yi 针对错误项分母进行求偏导：
  
  j==yi 针对分子进行求偏导：
  
  dloss/dscores到这里就完成了，再继续求dscores/dw=x,最终再乘上dloss/dscores就完成了softmax的梯度求导了！

• two-layer-nets梯度求导
  两层神经网络最后采用了softmax作为归一化输出，所以dloss/dscores的求导与softmax的求导相同，完成dloss/dscores求导后再依次向前一层w2求偏导，RELU求偏导，w1求偏导，这里不再重复赘述。