矩阵微分

最新推荐文章于 2022-09-19 20:01:21 发布

weixin_43164989

最新推荐文章于 2022-09-19 20:01:21 发布

阅读量214

点赞数

文章标签：矩阵

本文链接：https://blog.csdn.net/weixin_43164989/article/details/92479301

版权

这篇博客详细介绍了矩阵微分的相关知识，包括标准梯度公式、矩阵迹的性质和矩阵微分的多个重要性质，并通过证明解释了如何求解矩阵函数的导数。重点探讨了自变量为标量、向量和矩阵时的微分形式，以及如何利用矩阵微分解决实际问题。

摘要由CSDN通过智能技术生成

矩阵微分（一）

标准梯度公式

自变量是标量

$\lim _{t\to 0} \frac {f(x+t)-f(x)}{t}$

自变量是向量

$D_{\textbf {w}}f(\textbf {x}) = \lim _{t\to 0} \frac {f(\textbf {x} + t\textbf {w}) - f(\textbf {x})}{t}$

自变量是矩阵

$D_{\textbf {W}}f(\textbf {X}) = \lim _{t\to 0} \frac {f(\textbf {X}+t\textbf {W})-f(\textbf {X})}{t}$

矩阵迹的性质

性质1

$tr(A) = tr(A^{T})$

性质2

$t r (A B) = t r (B A)$

$t r (A B C D) = t r (D A B C) = t r (C D A B) = t r (B C D A)$

性质3

$t r (A + B) = t r (A) + t r (B)$

性质4

$tr(\alpha A) = \alpha tr(A)$

性质5

设有矩阵H、U，H和U都是n x m的矩阵，则有：

$\sum _{j=1}^{m} \sum _{i=1}^{n}(h_{ij}u_{ij}) = \sum _{j=1}^{m} \sum _{i=1}^{n}((h^{T})_{ji}u_{ij}) = tr(H^{T}U)$

矩阵微分的性质

设有关于矩阵A的一个函数f，记为f(A)，f(A)关于A的导数为：

$\nabla _{A}f(A) = \frac { \partial f(A) }{ \partial A } = \left[ \begin{matrix} \frac {\partial f }{\partial A_{11}}&\frac {\partial f }{\partial A_{12}}&\cdots &\frac {\partial f }{\partial A_{1n}}\\ \frac {\partial f }{\partial A_{21}}&\frac {\partial f }{\partial A_{22}}&\cdots &\frac {\partial f }{\partial A_{2n}}\\ \vdots &\vdots &\ddots &\vdots \\ \frac {\partial f }{\partial A_{m1}}&\frac {\partial f }{\partial A_{m2}}&\cdots &\frac {\partial f }{\partial A_{mn}}\\ \end{matrix} \right]$

最低0.47元/天解锁文章

weixin_43164989

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
矩阵微分

矩阵微分（一）标准梯度公式自变量是标量Df(x)=lim⁡t→0f(x+t)−f(x)tDf(x) = \lim _{t\to 0} \frac {f(x+t)-f(x)}{t}Df(x)=t→0limtf(x+t)−f(x)自变量是向量Dwf(x)=lim⁡t→0f(x+tw)−f(x)tD_{\textbf {w}}f(\textbf {x}) = \lim _{t\to ...
复制链接

扫一扫