矩阵的 Frobenius 范数及其求偏导法则

本文仅对https://blog.csdn.net/txwh0820/article/details/46392293进行重新排版供个人学习，侵删

矩阵的迹求导法则

1. 复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix

2. x is a column vector, A is a matrix

  $\frac{d(A\ast x)}{dx}=A$

  $\frac{d(x^T\ast A)}{d{x}^T}=A$

  $\frac{d(x^T\ast A)}{dx}=A^T$

  $\frac{d(x^T\ast A\ast x)}{dx}=x^T(A^T+A)$

3. Practice:

4. 矩阵求导计算法则

求导公式：

  $Y=A\ast X\to \frac{DY}{DX}=A^T$

  $Y=X\ast A\to \frac{DY}{DX}=A$

  $Y=A^T\ast X\ast B\to \frac{DY}{DX}=A\ast B^T$

  $Y=A^T\ast X^T\ast B\to \frac{DY}{DX}=B\ast A^T$

乘积的导数：

  $\frac{d(f\ast g)}{dx}=\frac{d{f}^T}{dx}g+\frac{dg}{dx}{f}^T$

一些结论：

1. 矩阵 $Y$ 对标量 $x$ 求导：
   相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成 $N\times M$ 了

      $Y=[y_{ij}]\to \frac{dY}{dx}=[\frac{d{y}_{ji}}{dx}]$

   

2. 标量 $y$ 对列向量 $X$ 求导：
   注意与上面不同，这次括号内是求偏导，不转置，对 $N\times 1$ 向量求导后还是 $N\times 1$ 向量

      $y=f(x_1,x_2,..,x_n)\to \frac{dy}{dX}=(\frac{Dy}{D{x}_1},\frac{Dy}{D{x}_2},..,\frac{Dy}{D{x}_n}{)}^T$

   

3. 行向量 $Y^T$ 对列向量 $X$ 求导：
   注意 $1\times M$ 向量对 $N\times 1$ 向量求导后是 $N\times M$ 矩阵。
   将 $Y$ 的每一列对 $X$ 求偏导，将各列构成一个矩阵。

  重要结论：

      $\frac{d{X}^T}{dX}=I$   $\frac{d(AX{)}^T}{dX}=A^T$

   

4. 列向量 $Y$ 对行向量 $X^T$ 求导：
   转化为行向量 $Y^T$ 对列向量 $X$ 的导数，然后转置。
   注意 $M\times 1$ 向量对 $1\times N$ 向量求导结果为 $M\times N$ 矩阵。

      $\frac{dY}{d{X}^T}=(\frac{d{Y}^T}{dX}{)}^T$

   

5. 向量积对列向量 $X$ 求导运算法则：
   注意与标量求导有点不同。

      $\frac{d(U{V}^T)}{dX}=(\frac{dU}{dX})V^T+U(\frac{d{V}^T}{dX})$   $\frac{d(U^{T}V)}{dX}=(\frac{d{U}^T}{dX})V+(\frac{d{V}^T}{dX})U^T$

  重要结论：

      $\frac{d(X^{T}A)}{dX}=(\frac{d{X}^T}{dX})A+(\frac{dA}{dX})X^T=IA+0X^T=A$

 

      $\frac{d(AX)}{d{X}^T}=(\frac{d(X^T{A}^T)}{dX}{)}^T=(A^T{)}^T=A$

 

      $\frac{d(X^{T}AX)}{dX}=(\frac{d{X}^T}{dX})AX+(\frac{d(AX{)}^T}{dX})X=AX+A^{T}X$

   

6. 矩阵 $Y$ 对列向量 $X$ 求导：
   将 $Y$ 对 $X$ 的每一个分量求偏导，构成一个超向量。
   注意该向量的每一个元素都是一个矩阵。

   

7. 矩阵积对列向量求导法则：

      $\frac{d(uV)}{dX}=(\frac{du}{dX})V+u(\frac{dV}{dX})$   $\frac{d(UV)}{dX}=(\frac{dU}{dX})V+U(\frac{dV}{dX})$

   

  重要结论：

      $\frac{d(X^{T}A)}{dX}=(\frac{d{X}^T}{dX})A+X^T(\frac{dA}{dX})=IA+X^{T}0=A$

   

8. 标量 $y$ 对矩阵 $X$ 的导数：
   类似标量 $y$ 对列向量 $X$ 的导数，
   把 $y$ 对每个 $X$ 的元素求偏导，不用转置。

      $\frac{dy}{dX}=[\frac{Dy}{D{x}_{ij}}]$

  重要结论：

      $y=U^{T}XV=\Sigma \Sigma u_i{x}_{ij}{v}_j$  于是   $\frac{dy}{dX}=[u_i{v}_j]=U{V}^T$

 

      $y=U^T{X}^{T}XU$  则  $\frac{dy}{dX}=2XU{U}^T$

 

      $y=(XU-V{)}^T(XU-V)$  则

      $\frac{dy}{dX}=\frac{d(U^T{X}^{T}XU-2V^{T}XU+V^{T}V)}{dX}$

        $=2XU{U}^T-2V{U}^T+0=2(XU-V)U^T$

   

9. 矩阵 $Y$ 对矩阵 $X$ 的导数：
   将 $Y$ 的每个元素对 $X$ 求导，然后排在一起形成超级矩阵。

   

10. 乘积的导数

      $\frac{d(f\ast g)}{dx}=(\frac{d{f}^T}{dx})g+(\frac{dg}{dx})f^T$

  结论

      $d(x^{T}Ax)=(\frac{d(x^{TT})}{dx})Ax+(\frac{d(Ax)}{dx})(x^{TT})=Ax+A^{T}x$

     （注意：${}^{TT}$是表示两次转置)