一、理解
函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度
梯度▽f是偏导数的向量,所以有,
直观理解链式法则,f=q*z, q=x+y ,先进行前向传播,从输入计算到输出(绿色),然后反向传播从末端开始,根据链式法则递归地向前计算梯度,一直到输入端。
在整个反向传播过程中,每个门单元应将回传的梯度乘以它
一、理解
函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度
梯度▽f是偏导数的向量,所以有,
直观理解链式法则,f=q*z, q=x+y ,先进行前向传播,从输入计算到输出(绿色),然后反向传播从末端开始,根据链式法则递归地向前计算梯度,一直到输入端。
在整个反向传播过程中,每个门单元应将回传的梯度乘以它