矩阵微分公式举例验证区别说明

正义的彬彬侠

已于 2024-09-12 00:05:30 修改

阅读量222

点赞数 1

分类专栏：机器学习文章标签：矩阵线性代数线性回归机器学习

于 2024-09-11 22:52:57 首次发布

本文链接：https://blog.csdn.net/u013172930/article/details/142152309

版权

机器学习专栏收录该内容

87 篇文章 2 订阅

订阅专栏

矩阵微分公式，表示为：

公式1： $\frac{\partial \mathbf{a}^T \mathbf{x}}{\partial \mathbf{x}} = \frac{\partial \mathbf{x}^T \mathbf{a}}{\partial \mathbf{x}} = \mathbf{a}$

公式2： $\frac{\partial \mathbf{x}^T \mathbf{A} \mathbf{x}}{\partial \mathbf{x}} = (\mathbf{A} + \mathbf{A}^T) \mathbf{x}$

一、举例验证公式1。

假设我们有两个向量 $\mathbf{a}$ 和 $\mathbf{x}$ ，其中 $\mathbf{a} = \begin{pmatrix} a_1 \\ a_2 \\ a_3 \end{pmatrix}$ 和 $\mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ x_3 \end{pmatrix}$ 。

1. 计算 $\mathbf{a}^T \mathbf{x}$ ：
$\mathbf{a}^T \mathbf{x} = \begin{pmatrix} a_1 & a_2 & a_3 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \\ x_3 \end{pmatrix} = a_1 x_1 + a_2 x_2 + a_3 x_3$

2. 计算 $\mathbf{x}^T \mathbf{a}$ ：
$\mathbf{x}^T \mathbf{a} = \begin{pmatrix} x_1 & x_2 & x_3 \end{pmatrix} \begin{pmatrix} a_1 \\ a_2 \\ a_3 \end{pmatrix} = a_1 x_1 + a_2 x_2 + a_3 x_3$

可以看到， $\mathbf{a}^T \mathbf{x}$ 和 $\mathbf{x}^T \mathbf{a}$ 的结果是相同的，都是一个标量。

3. 计算偏导数：

对于 $\mathbf{a}^T \mathbf{x}$ ：

$\frac{\partial (\mathbf{a}^T \mathbf{x})}{\partial \mathbf{x}} = \frac{\partial (a_1 x_1 + a_2 x_2 + a_3 x_3)}{\partial \mathbf{x}} = \begin{pmatrix} a_1 \\ a_2 \\ a_3 \end{pmatrix} = \mathbf{a}$

对于 $\mathbf{x}^T \mathbf{a}$ ：

$\frac{\partial (\mathbf{x}^T \mathbf{a})}{\partial \mathbf{x}} = \frac{\partial (a_1 x_1 + a_2 x_2 + a_3 x_3)}{\partial \mathbf{x}} = \begin{pmatrix} a_1 \\ a_2 \\ a_3 \end{pmatrix} = \mathbf{a}$

因此，无论是 $\mathbf{a}^T \mathbf{x}$ 还是 $\mathbf{x}^T \mathbf{a}$ ，它们对 $\mathbf{x}$ 的偏导数都是向量 $\mathbf{a}$ 。

二、举例验证公式2。

假设我们有一个向量 $\mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \end{pmatrix}$ 和一个矩阵 $\mathbf{A} = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix}$ 。

1. 计算 $\mathbf{x}^T \mathbf{A} \mathbf{x}$ ：
$\mathbf{x}^T \mathbf{A} \mathbf{x} = \begin{pmatrix} x_1 & x_2 \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = a_{11} x_1^2 + a_{12} x_1 x_2 + a_{21} x_2 x_1 + a_{22} x_2^2$

2. 计算偏导数：
$\frac{\partial \mathbf{x}^T \mathbf{A} \mathbf{x}}{\partial \mathbf{x}} = \frac{\partial (a_{11} x_1^2 + a_{12} x_1 x_2 + a_{21} x_2 x_1 + a_{22} x_2^2)}{\partial \mathbf{x}} = \begin{pmatrix} 2a_{11} x_1 + (a_{12} + a_{21}) x_2 \\ (a_{21} + a_{12}) x_1 + 2a_{22} x_2 \end{pmatrix}$

3. 计算 $(\mathbf{A} + \mathbf{A}^T) \mathbf{x}$ ：
$\mathbf{A}^T = \begin{pmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \end{pmatrix}$
$(\mathbf{A} + \mathbf{A}^T) \mathbf{x} = \begin{pmatrix} a_{11} + a_{11} & a_{12} + a_{21} \\ a_{21} + a_{12} & a_{22} + a_{22} \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 2a_{11} x_1 + (a_{12} + a_{21}) x_2 \\ (a_{21} + a_{12}) x_1 + 2a_{22} x_2 \end{pmatrix}$

可以看到， $\frac{\partial \mathbf{x}^T \mathbf{A} \mathbf{x}}{\partial \mathbf{x}}$ 和 $(\mathbf{A} + \mathbf{A}^T) \mathbf{x}$ 的结果是相同的，这验证了公式2的正确性。

三、两者的区别

公式1和公式2都是矩阵微分公式，但它们描述的是不同的情况。

1. 公式1：
这个公式表示的是向量 $\mathbf{a}$ 和 $\mathbf{x}$ 的点积对 $\mathbf{x}$ 的偏导数。它表明，无论是 $\mathbf{a}^T \mathbf{x}$ 还是 $\mathbf{x}^T \mathbf{a}$ ，它们对 $\mathbf{x}$ 的偏导数都是向量 $\mathbf{a}$ 。

2. 公式2：
这个公式表示的是向量 $\mathbf{x}$ 与矩阵 $\mathbf{A}$ 乘积后再与 $\mathbf{x}$ 的转置相乘的结果对 $\mathbf{x}$ 的偏导数。它表明， $\mathbf{x}^T \mathbf{A} \mathbf{x}$ 对 $\mathbf{x}$ 的偏导数等于 $(\mathbf{A} + \mathbf{A}^T) \mathbf{x}$ 。