CS231n简介
详见 CS231n课程笔记1:Introduction。
注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。
作业笔记
SVM的Loss Function请参考 CS231n课程笔记3.1:线性分类器(SVM,softmax)的误差函数、正则化。
1. 非向量的误差计算
这部分属于作业自带部分,使用loop计算,如果margin大于0,就叠加,最后加入正则项。
2. 非向量的梯度计算
通过上部分所示,loss为诸多margin的和,所以只需要在累加margin的部分同时计算反向传播。注意反向传播的时候,反向传播的初始值为1,即dLoss=1(不是Loss,也不是-1)。
num_classes = W.shape[1]
num_train = X.shape[0]
loss = 0.0
for i in xrange(num_train):
scores = X[i].dot(W)
correct_class_score = scores[y[i]]
for j in xrange(num_classes):
if j == y[i]:
continue
margin = scores[j] - correct_class_score + 1 # note delta = 1
if margin > 0:
loss += margin
dW[:,j] += X[i,:]
dW[:,y[i]] -= X[i,:]
loss /= num_train
dW /= num_train
loss += 0.5 * reg * np.sum(W * W)
dW += reg*W
3. 向量化的误差计算
首先,利用numpy的broadcasting把一维向量,复制到每一维。即[[0],[0]]+[1,2,3] = [[1,2,3],[1,2,3]]。
其次利用复制好的range(n),然后等于y,得到y_mask。然后y_mask与scores相乘得到correct_scores。
num_classes = W.shape[1]
num_train = X.shape[0]
scores = X.dot(W)
y_mask = (np.arange(num_classes)+np.zeros([num_train,1]) == y.reshape([num_train,1]))
correct_scores = np.sum(y_mask * scores,axis = 1,keepdims=True) + np.zeros([1,num_classes])
scores_dif = scores - correct_scores + 1
loss = np.sum(scores_dif * (scores_dif > 0))
loss /= num_train
loss -= 1
4. 向量化的梯度计算
对于上诉过程逐步进行反向传播。注意反向传播中只对dif > 0的部分传播。
dloss = 1./num_train
dscores_dif = dloss * (scores_dif > 0)
dscores = dscores_dif
dcorrect_scores = -dscores_dif*np.sum(scores_dif > 0,axis = 1,keepdims=True)
dscores += dcorrect_scores * y_mask
dW += X.T.dot(dscores)
loss += 0.5 * reg * np.sum(W * W)
dW += reg * W