CS231n作业笔记1.3：SVM的误差函数以及反向传播（非向量及向量算法）

CS231n简介

详见 CS231n课程笔记1：Introduction。
注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。

作业笔记

SVM的Loss Function请参考 CS231n课程笔记3.1：线性分类器（SVM，softmax）的误差函数、正则化。

1. 非向量的误差计算

这部分属于作业自带部分，使用loop计算，如果margin大于0，就叠加，最后加入正则项。

2. 非向量的梯度计算

通过上部分所示，loss为诸多margin的和，所以只需要在累加margin的部分同时计算反向传播。注意反向传播的时候，反向传播的初始值为1，即dLoss=1（不是Loss，也不是-1）。

  num_classes = W.shape[1]
  num_train = X.shape[0]
  loss = 0.0
  for i in xrange(num_train):
    scores = X[i].dot(W)
    correct_class_score = scores[y[i]]
    for j in xrange(num_classes):
      if j == y[i]:
        continue
      margin = scores[j] - correct_class_score + 1 # note delta = 1
      if margin > 0:
        loss += margin
        dW[:,j] += X[i,:]
        dW[:,y[i]] -= X[i,:]

  loss /= num_train
  dW /= num_train

  loss += 0.5 * reg * np.sum(W * W)
  dW += reg*W 

3. 向量化的误差计算

首先，利用numpy的broadcasting把一维向量，复制到每一维。即[[0],[0]]+[1,2,3] = [[1,2,3],[1,2,3]]。
其次利用复制好的range(n)，然后等于y，得到y_mask。然后y_mask与scores相乘得到correct_scores。

  num_classes = W.shape[1]
  num_train = X.shape[0]

  scores = X.dot(W)
  y_mask = (np.arange(num_classes)+np.zeros([num_train,1]) == y.reshape([num_train,1]))
  correct_scores = np.sum(y_mask * scores,axis = 1,keepdims=True) + np.zeros([1,num_classes])

  scores_dif = scores - correct_scores + 1
  loss = np.sum(scores_dif * (scores_dif > 0))
  loss /= num_train
  loss -= 1

4. 向量化的梯度计算

对于上诉过程逐步进行反向传播。注意反向传播中只对dif > 0的部分传播。

  dloss = 1./num_train
  dscores_dif = dloss * (scores_dif > 0)
  dscores = dscores_dif
  dcorrect_scores = -dscores_dif*np.sum(scores_dif > 0,axis = 1,keepdims=True)
  dscores += dcorrect_scores * y_mask
  dW += X.T.dot(dscores)

  loss += 0.5 * reg * np.sum(W * W)
  dW += reg * W