第一部分:矩阵微分
计算 ∂F∂X 时,根据F和X的类型有不同的微分公式。F和X可以分别是标量、向量和矩阵。
1. 当X是标量时
- 当F是X的标量函数时,则 ∂F∂X 就是一元函数的导数。
- 当F是函数向量时,设
F={F1(x),F1(x),...,Fn(x)}T,
则
∂F∂X={∂F1(x)∂x,∂F2(x)∂x,...,∂Fn(x)∂x}T - 当F是函数矩阵时,设
F=⎧⎩⎨⎪⎪f11...fn1.........f1m...fnm⎫⎭⎬⎪⎪,
则
∂F∂X=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂f11∂X...∂fn1∂X.........∂f1m∂X...∂fnm∂X⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ - 求导法则
2. 当X是向量时
设
X={x1,x2,...,xm}T
- 当F是X的标量函数时,则
∂F∂X={∂F∂x1,∂F∂x2,...,∂F∂xm}T
这叫做F(X)的梯度,记为 grad F(X)。
- 当F是函数向量时,设
F={f1(X),f2(X),...,fn(X)}T,
则
∂F∂X=∂F∂XT={∂F∂x1∂F∂x2...∂F∂xm}=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂f1∂x1...∂fn∂x1∂f1∂x2...∂fn∂x2.........∂f1∂xm...∂fn∂xm⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪
这是先展开X后展开F。还可以先展开F后展开X,结果是一样的。
上述求导结果又称为Jaccobi矩阵。
- 当F是函数矩阵时,设
F={fij}nl
则
∂F∂X={∂F∂x1∂F∂x2...∂F∂xm}Tmn×l
结果是m个n*l的矩阵在垂直方向上的叠加。
3. 当X是矩阵时
设
X=⎧⎩⎨⎪⎪x11...xn1.........x1m...xnm⎫⎭⎬⎪⎪
- 当F是X的标量函数,则
∂F∂X=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂F∂x11...∂F∂xn1.........∂F∂x1m...∂F∂xnm⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪
- 当F是函数向量时,设
F={f1,f2,...,fl}T
则
F={∂f1∂X,∂f2∂X,...,∂fl∂X}Tln×m
- 当F是函数矩阵时,设
F=⎧⎩⎨⎪⎪f11...fl1.........f1k...flk⎫⎭⎬⎪⎪
则
∂F∂X=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂f11∂X...∂fl1∂X.........∂f1k∂X...∂flk∂X⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪
,其中矩阵的每个元素都是一个标量函数对矩阵的导数,每个元素都是一个nm的矩阵。
4. 复合函数的导数
第二部分:向量函数的Taylor展开
参考 :[https://wenku.baidu.com/view/bfb50cf09e314332396893cf.html]