CS231N assignment1——Softmax exercise

Softmax exercise

Complete and hand in this completed worksheet (including its outputs and any supporting code outside of the worksheet) with your assignment submission. For more details see the assignments page on the course website.

This exercise is analogous to the SVM exercise. You will:

• implement a fully-vectorized loss function for the Softmax classifier
• implement the fully-vectorized expression for its analytic gradient
• check your implementation with numerical gradient
• use a validation set to tune the learning rate and regularization strength
• optimize the loss function with SGD
• visualize the final learned weights

关键点分析

• 损失函数的梯度推导及表示

损失函数的梯度推导及表示

对于softmax，它的想法其实和SVM差不多，同样是多分类器，提供了一个行是特征维度数，列为标签类别数的权重模板矩阵，然后通过样本集矩阵和权重模板矩阵相乘得到样本在各个类别上的分数，最后的类别选择就是按照分数高低来决定。记i是当前样本的下标，y_i是对应样本的目标标签，$f_{y_i}$是对应样本的分数具体的形式如下：

$$\begin{align} L_i &= -log(\frac{e^{ f_{y_i} }}{ \sum_{j} e^{f_j} }) \notag \\ &= -f_{y_i} + log(\sum_j e^{f_j}) \notag \\ &= -W_{y_i}*x + log(\sum_j e^{W_j * x}) \notag \end{align}$$
单从式子看其实会发现这个应该是会比之前的SVM的推导好点，因为没有像max这样的非线性运算在里面需要你去做额外的操作，
$$\begin{equation} \left\{ \begin{array}{lr} \frac{\partial L_i}{\partial W_j}=\frac{ e^{W_j *x}*x }{ \sum_j{e^{W _j*x}} } &j \neq y_i \notag \\ \frac{\partial L_i}{\partial W_j}= -x + \frac{ e^{W_j *x}*x }{ \sum_j{e^{w_j*x}} } &j \neq y_i \notag \end{array} \right. \end{equation}$$
乍一看上面的式子很复杂，但如果你稍微细想一下，你会觉得还好，为什么呢？ $W_j *x$不就是我们之前要计算损失值时就已经求出来的分数矩阵里了么，如果你希望再简化下操作，那就把这个计算分数矩阵先指数化，然后再归一化的话就是整一个的计算值了，其实就是对应标签的概率，如果你觉得上面 $j=y_i$那步看起来不直观还可以稍微整理一下：
$$\frac{\partial L_i}{\partial W_j}= (-1 + \frac{ e^{W_j *x} }{ \sum_j{e^{w_j*x}} })*x$$
这下看起来就很清晰了，所以整一个的流程最后可以总结如下：

1. 先用样本集矩阵乘上权重矩阵，计算出一个初始的分数
2. 将分数矩阵进行对数化并归一化，一来有助于计算损失值，二来在后续的梯度计算过程中较为方便
3. 梯度求导，把分数矩阵中指定样本的对应标签的分数列加1
4. 将样本集矩阵和经过处理的新分数矩阵进行相乘得到最后的梯度结果

最后补充一句，这里的损失函数是没有包括正则化的结构风险，这个是需要加进去的，写法和之前的SVM那一章的内容一致。

def softmax_loss_vectorized(W, X, y, reg):
  """
  Softmax loss function, vectorized version.

  Inputs and outputs are the same as softmax_loss_naive.
  """
  # Initialize the loss and gradient to zero.
  loss = 0.0
  dW = np.zeros_like(W)

  #############################################################################
  # TODO: Compute the softmax loss and its gradient using no explicit loops.  #
  # Store the loss in loss and the gradient in dW. If you are not careful     #
  # here, it is easy to run into numeric instability. Don't forget the        #
  # regularization!                                                           #
  #############################################################################
  raw_scores = X.dot(W)
  scores = np.exp(raw_scores - np.max(raw_scores, axis=1).reshape((-1,1)))  #这里减去最大值是考虑运算的稳定性，具体参考CS231N的笔记
  scores /= np.sum(scores, axis=1).reshape((-1,1))  #归一化
  target_scores = scores[np.arange(X.shape[0]),y]  #取得目标标签列分数
  loss = np.sum(-np.log(target_scores))/y.shape[0] + 1/2*reg*np.sum(W*W)  #计算损失函数

  coe_matrix = np.array(scores)  #复制归一化后的分数矩阵
  coe_matrix[np.arange(X.shape[0]), y] -=1  #对目标标签列权重修改
  dW = np.transpose(X).dot(coe_matrix)/y.shape[0]+reg*W
  #############################################################################
  #                          END OF YOUR CODE                                 #
  #############################################################################

  return loss, dW