向量，矩阵，张量求导
参考 http://cs231n.stanford.edu/vecDerivs.pdf
向量对向量求导
如何对 y = W x y = Wx y=Wx 求导？其中：
- y : C × 1 y: {C\times1} y:C×1
- W : C × D W: {C\times D} W:C×D
- x : D × 1 x: {D\times 1} x:D×1
可以先通过计算一种特例，比如 ∂ y 7 ∂ x 3 \frac{\partial{y_7}}{\partial{x_3}} ∂x3∂y7 来更好地理解, y 7 y_7 y7 可以写成
y 7 = ∑ j = 1 D W 7 , j x j = W 7 , 1 x 1 + W 7 , 2 x 2 + W 7 , 3 x 3 + ⋯ y_7 = \sum_{j=1}^{D}W_{7,j} x_j =W_{7,1}x_1 + W_{7,2}x_2 + W_{7,3}x_3+\cdots y7=j=1∑DW7,jxj=W7,1x1+W7,2x2+W7,3x3+⋯
所以 ∂ y 7 ∂ x 3 = W 7 , 3 \frac{\partial{y_7}}{\partial{x_3}}=W_{7,3} ∂x3∂y7=W7,3。进而， ∂ y ∂ x = W \frac{\partial{y}}{\partial{x}} = W ∂x∂y=W
PS: 标量对向量求导的维度为 1 ∗ n 1*n
最低0.47元/天 解锁文章
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
