矩阵求导公式

转自：http://blog.sina.com.cn/s/blog_4a033b090100pwjq.html

求导公式(撇号为转置）：

Y = A * X --> DY/DX = A'
Y = X * A --> DY/DX = A
Y = A' * X * B --> DY/DX = A * B'
Y = A' * X' * B --> DY/DX = B * A'

乘积的导数

d(f*g)/dx=(df'/dx)g+(dg/dx)f'

 

  



 

于是把以前学过的矩阵求导部分整理一下：

1. 矩阵Y对标量x求导：

相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了

Y = [y(ij)]--> dY/dx = [dy(ji)/dx]

2. 标量y对列向量X求导：

注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量

y = f(x1,x2,..,xn) --> dy/dX= (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

3. 行向量Y'对列向量X求导：

注意1×M向量对N×1向量求导后是N×M矩阵。

将Y的每一列对X求偏导，将各列构成一个矩阵。

重要结论：

dX'/dX =I

d(AX)'/dX =A'

4. 列向量Y对行向量X’求导：

转化为行向量Y’对列向量X的导数，然后转置。

注意M×1向量对1×N向量求导结果为M×N矩阵。

dY/dX' =(dY'/dX)'

5. 向量积对列向量X求导运算法则：

注意与标量求导有点不同。

d(UV')/dX =(dU/dX)V' + U(dV'/dX)

d(U'V)/dX =(dU'/dX)V + (dV'/dX)U'

重要结论：

d(X'A)/dX =(dX'/dX)A + (dA/dX)X' = IA + 0X' = A

d(AX)/dX' =(d(X'A')/dX)' = (A')' = A

d(X'AX)/dX =(dX'/dX)AX + (d(AX)'/dX)X = AX + A'X

6. 矩阵Y对列向量X求导：

将Y对X的每一个分量求偏导，构成一个超向量。

注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则：

d(uV)/dX =(du/dX)V + u(dV/dX)

d(UV)/dX =(dU/dX)V + U(dV/dX)

重要结论：

d(X'A)/dX =(dX'/dX)A + X'(dA/dX) = IA + X'0 = A

8. 标量y对矩阵X的导数：

类似标量y对列向量X的导数，

把y对每个X的元素求偏导，不用转置。

dy/dX = [Dy/Dx(ij) ]

重要结论：

y = U'XV= ΣΣu(i)x(ij)v(j) 于是 dy/dX = [u(i)v(j)] =UV'

y = U'X'XU 则dy/dX = 2XUU'

y =(XU-V)'(XU-V) 则 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' +0 = 2(XU-V)U'

9. 矩阵Y对矩阵X的导数：

将Y的每个元素对X求导，然后排在一起形成超级矩阵。

10.乘积的导数

d(f*g)/dx=(df'/dx)g+(dg/dx)f'

结论

d(x'Ax)=(d(x'')/dx)Ax+(d(Ax)/dx)(x'')=Ax+A'x （注意：''是表示两次转置）

Notation

• d/dx (y) is a vector whose (i) element is dy(i)/dx
• d/dx (y) is a vector whose (i) element is dy/dx(i)
• d/dx (y^T) is a matrix whose (i,j) element is dy(j)/dx(i)
• d/dx (Y) is a matrix whose (i,j) element is dy(i,j)/dx
• d/dX (y) is a matrix whose (i,j) element is dy/dx(i,j)

Note that the Hermitian transpose is not used because complex conjugates are not analytic.

In the expressions below matrices and vectors A, B, C do not depend on X.

Derivatives of Linear Products

• d/dx (AYB) =A * d/dx (Y) * B
• • d/dx (Ay) =A * d/dx (y)
• d/dx (x^TA) =A
• • d/dx (x^T) =I
  • d/dx (x^Ta) = d/dx (a^Tx) = a
• d/dX (a^TXb) = ab^T
• • d/dX (a^TXa) = d/dX (a^TX^Ta) = aa^T
• d/dX (a^TX^Tb) = ba^T
• d/dx (YZ) =Y * d/dx (Z) + d/dx (Y) * Z

Derivatives of Quadratic Products

• d/dx (Ax+b)^TC(Dx+e) = A^TC(Dx+e) + D^TC^T(Ax+b)
• • d/dx (x^TCx) = (C+C^T)x
  • • [C: symmetric]: d/dx (x^TCx) = 2Cx
    • d/dx (x^Tx) = 2x
  • d/dx (Ax+b)^T (Dx+e) = A^T (Dx+e) + D^T (Ax+b)
  • • d/dx (Ax+b)^T (Ax+b) = 2A^T (Ax+b)
  • [C: symmetric]: d/dx (Ax+b)^TC(Ax+b) = 2A^TC(Ax+b)
• d/dX (a^TX^TXb) = X(ab^T + ba^T)
• • d/dX (a^TX^TXa) = 2Xaa^T
• d/dX (a^TX^TCXb) = C^TXab^T + CXba^T
• • d/dX (a^TX^TCXa) = (C + C^T)Xaa^T
  • [C:Symmetric] d/dX (a^TX^TCXa) = 2CXaa^T
• d/dX ((Xa+b)^TC(Xa+b)) = (C+C^T)(Xa+b)a^T

Derivatives of Cubic Products

• d/dx (x^TAxx^T) = (A+A^T)xx^T+x^TAxI

Derivatives of Inverses

• d/dx (Y^-1) = -Y^-1d/dx (Y)Y^-1

Derivative of Trace

Note: matrix dimensions must result in an n*n argument for tr().

• d/dX (tr(X)) = I
• d/dX (tr(X^k)) =k(X^k-1)^T
• d/dX (tr(AX^k)) = SUM_r=0:k-1(X^rAX^k-r-1)^T
• d/dX (tr(AX^-1B)) = -(X^-1BAX^-1)^T
  • d/dX (tr(AX^-1)) =d/dX (tr(X^-1A)) = -X^-TA^TX^-T
• d/dX (tr(A^TXB^T)) = d/dX (tr(BX^TA)) = AB
  • d/dX (tr(XA^T)) = d/dX (tr(A^TX)) =d/dX (tr(X^TA)) = d/dX (tr(AX^T)) = A
• d/dX (tr(AXBX^T)) = A^TXB^T + AXB
  • d/dX (tr(XAX^T)) = X(A+A^T)
  • d/dX (tr(X^TAX)) = X^T(A+A^T)
  • d/dX (tr(AX^TX)) = (A+A^T)X
• d/dX (tr(AXBX)) = A^TX^TB^T + B^TX^TA^T
• [C:symmetric] d/dX (tr((X^TCX)^-1A) = d/dX (tr(A (X^TCX)^-1) = -(CX(X^TCX)^-1)(A+A^T)(X^TCX)^-1
• [B,C:symmetric] d/dX (tr((X^TCX)^-1(X^TBX)) = d/dX (tr( (X^TBX)(X^TCX)^-1) = -2(CX(X^TCX)^-1)X^TBX(X^TCX)^-1 + 2BX(X^TCX)^-1

Derivative of Determinant

Note: matrix dimensions must result in an n*n argument for det().

• d/dX (det(X)) = d/dX (det(X^T)) = det(X)*X^-T
• • d/dX (det(AXB)) = det(AXB)*X^-T
  • d/dX (ln(det(AXB))) = X^-T
• d/dX (det(X^k)) = k*det(X^k)*X^-T
  • d/dX (ln(det(X^k))) = kX^-T
• [Real] d/dX (det(X^TCX)) = det(X^TCX)*(C+C^T)X(X^TCX)^-1
• • [C: Real,Symmetric] d/dX (det(X^TCX)) = 2det(X^TCX)* CX(X^TCX)^-1
• [C: Real,Symmetricc] d/dX (ln(det(X^TCX))) = 2CX(X^TCX)^-1

Jacobian

If y is a function of x, then dy^T/dx is the Jacobian matrix of y with respect to x.

Its determinant, |dy^T/dx|, is the Jacobian of y with respect to x and represents the ratio of the hyper-volumes dy and dx. The Jacobian occurs when changing variables in an integration: Integral(f(y)dy)=Integral(f(y(x)) |dy^T/dx| dx).

Hessian matrix

If f is a function of x then the symmetric matrix d²f/dx² = d/dx^T(df/dx) is the Hessian matrix of f(x). A value of x for which df/dx = 0 corresponds to a minimum, maximum or saddle point according to whether the Hessian is positive definite, negative definite or indefinite.

• d²/dx² (a^Tx) = 0
• d²/dx² (Ax+b)^TC(Dx+e) = A^TCD + D^TC^TA
• • d²/dx² (x^TCx) = C+C^T
  • • d²/dx² (x^Tx) = 2I
  • d²/dx² (Ax+b)^T (Dx+e) = A^TD + D^TA
  • • d²/dx² (Ax+b)^T (Ax+b) = 2A^TA
  • [C: symmetric]: d²/dx² (Ax+b)^TC(Ax+b) = 2A^TCA  

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1. 全新的界面设计 ，将会带来全新的写作体验；
2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4. 全新的 KaTeX数学公式 语法；
5. 增加了支持甘特图的mermaid语法¹ 功能；
6. 增加了 多屏幕编辑 Markdown文章功能；
7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + Shift + B
斜体：Ctrl/Command + Shift + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

这将产生一个流程图。:

graph LR
A[长方形] -- 链接 --> B((圆))
A --> C(圆角长方形)
B --> D{菱形}
C --> D

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

---

1. mermaid语法说明 ↩︎

2. 注脚的解释 ↩︎