hanyudebaby的博客

原创 【自动微分】前向微分和反向微分

前向和反向微分都和Jacobian矩阵相关，同时它也可以帮助理解，所以从Jacobian矩阵谈起。1. Jacobian Matrix雅各比矩阵给定函数f:Rn→Rmf: R^n \rightarrow R^mf:Rn→Rm和向量Y∈RmY\in{R^m}Y∈Rm 使得 ∀X∈Rn\forall{X}\in{R^n}∀X∈Rn 都有A(X)=L(X)+YA(X)=L(X)+YA(X)=L(X)+Y称A(X)A(X)A(X)是一个仿射函数.对于一个点X(0)∈RmX^{(0)}\in{R^m}X