CS231n Assignment 备忘

之前刷CS231n作业的时候，遇到的一些知识点，怕自己忘了，记录在这里。

Assignment2

• 最后的softmax之前千万不要加relu，否则经过一段时间的sgd，会导致输出全0。反向求导也无效。
• x.reshape(x.shape[0], -1).T != x.reshape(-1x.shape[0])

Assignment3

关于LSTM

• 反向传播时状态s也要反向传播，而且要初始化为0。原因和h类似，建议画一下图。
• h在反向传播时，是后一个节点和当前层输出对应loss的传播之和。整体反向传播的输入参数的dh一般是指每一层的输出对应的loss传播。