上周完成了cs231n的assignment1,作业中的难点是SVM/Softmax/two-layer-nets的梯度求导,特此写篇博客进行总结。
作业assignment1的资源链接在这里:http://download.csdn.net/detail/pjia_1008/9797177
SVM梯度求导
SVM的梯度求导要考虑两种情况,j==yi 和 j!=yi,此处 j表示误分类项,yi表示正确分类的项。比如,输入猫的图片,共有三个进行预测的类别:狗、猫和车。在进行预测的时候“猫”这一项就是ground true正确分类的项,其余两项“狗”和“车”就是误分类的项。可以根据course note中的例子进行理解:
分别对这两种情况进行梯度求导,以下为笔记中的梯度求导公式: