矩阵求导数

satadriver

已于 2023-10-16 23:07:40 修改

阅读量986

点赞数

分类专栏：线性代数文章标签：矩阵线性代数

于 2023-09-30 23:42:18 首次发布

本文链接：https://blog.csdn.net/m0_37567738/article/details/133444201

版权

线性代数专栏收录该内容

15 篇文章 0 订阅

订阅专栏

（一）向量求导基础

矩阵和向量求导的几种形式（注意A不要求是对称矩阵）：

$\color{red} D (Ax) = A^T$

证明：
此处要注意转置运算，因为梯度要转化为列向量的形式，故要转置一下。

$\color{red} D (x^TA) = A$

证明：
此处要注意矩阵的转置，因为是求解的x的转置，故要转置两次，得到原矩阵A。

$\color{red} D (||x||^2) = D (x^Tx) = 2x$

$\color{red} D (||x||^2_F) = 2x$

证明：

$D(x^Tx) =\frac{ (x+\Delta x)^T(x + \Delta x) - x^Tx }{\Delta x}= \frac{x^T\Delta x+\Delta x^Tx +\Delta x^T\Delta x}{\Delta x}$

注意到，上式分子中第一项和第二项是完全一样的，故上式结果是2x

$\color{red} D( x^T A x) = (A + A^T)x$

证明：

$x^T A x) = \frac{(x^T+\Delta x ^T)A(x + \Delta x) - x^TA x}{\Delta x} =\\ \frac{x^T A\Delta x +\Delta x^TAx + \Delta x^TA\Delta x}{\Delta x}$

容易看出，上式中分子的第一项和第二项都是标量二次型，假设A维度是mxn，且k=max(m,n)，将A扩充为kxk维矩阵后，得到化简后结果为 $A^T + A)x$

没有那么多技巧，上述几个公式必须要牢记！

下一篇：
https://editor.csdn.net/md/?not_checkout=1&spm=1001.2014.3001.4503

（二）例子

例子：
$\begin {vmatrix} 1 & 2 & 1\\2 & -1 & 3 \end {vmatrix},计算f(x) = \frac{||Ax||_2}{||x||_2}的最大值。$

（此题解题思路错误！）
解：

根据导数定义和性质，极值处导数为0。首先求出矩阵的导数，置为0后求解。

首先 $\frac{ \begin {vmatrix} x_1 x_2 x_3 \end {vmatrix} \begin {vmatrix} 1 & 2 \\2 & -1 \\1 & 3 \end {vmatrix}\begin {vmatrix} 1 & 2 & 1\\2 & -1 & 3 \end {vmatrix} \begin {vmatrix} x_1\\ x_2\\x_3 \end {vmatrix} }{x_1^2 + x_2^2 + x_3^2} =\\ \frac{ \begin {vmatrix} x_1 x_2 x_3 \end {vmatrix} \begin {vmatrix} 5 & 0 & 7\\0 & 5 & -1 \\7 & -1 & 10\end {vmatrix} \begin {vmatrix} x_1\\ x_2\\x_3 \end {vmatrix} }{x_1^2 + x_2^2 + x_3^2}$

考虑矩阵 $x^T A ^ T A x$ 求导:

$\Delta x)^T A ^ T A (x + \Delta x) =(x^T + \Delta x ^ T) A ^ T A (x + \Delta x) =\\ (x^T A ^ T A + \Delta x ^ T A ^ T A ) (x + \Delta x) = \\ x^T A ^ T A x +x^T A ^ T A \Delta x + \Delta x ^ T A ^ T A x + \Delta x ^ T A ^ T A \Delta x$

$\color{red}注意：上式中每一项都是一个标量，而不是向量。$

$\frac { ||(x + \Delta x)^T A ^ T A (x + \Delta x) -x^T A ^ T A x ||}{ || \Delta x||} = \\ \frac {||x^T A ^ T A \Delta x + \Delta x ^ T A ^ T A x + \Delta x ^ T A ^ T A \Delta x ||}{ ||\Delta x ||} = 2 A^ TA x$