矩阵分析与应用(18)

Butterfffly

已于 2022-08-01 21:12:05 修改

阅读量316

点赞数

分类专栏：矩阵分析与应用文章标签：矩阵

于 2022-08-01 19:33:49 首次发布

本文链接：https://blog.csdn.net/qq_40206924/article/details/126101995

版权

矩阵分析与应用专栏收录该内容

22 篇文章 7 订阅

订阅专栏

学习来源：《矩阵分析与应用》张贤达清华大学出版社

共轭梯度与无约束最优化

1. 标量函数相对于复向量的梯度

1）标量函数 $f(x)$ 相对于 $n\times 1$ 复向量 $x$ 的梯度为 $n\times 1$ 向量，定义为：

$\frac{\partial f(x)}{\partial x}=\bigtriangledown_xf(x)=\left [ \frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots ,\frac{\partial f(x)}{\partial x_n} \right ]^T$

2）类似的，标量函数 $f(x)$ 相对于 $n\times 1$ 复向量 $x$ 的复数共轭向量 $x^*$ 的梯度简称为共轭梯度，定义为：

$\frac{\partial f(x)}{\partial x^*}=\bigtriangledown_{x^*}f(x)=\left [ \frac{\partial f(x)}{\partial x_1^*},\frac{\partial f(x)}{\partial x_2^*},\cdots ,\frac{\partial f(x)}{\partial x_n^*} \right ]^T$

3）若 $f(x)=\left [ f_1(x),f_2(x),\cdots ,f_m(x) \right ]$ 为 $1\times n$ 复行向量函数，则 $f(x)$ 相对于复列向量 $x$ 的梯度为 $n\times m$ 矩阵，定义为：

$\frac{\partial f(x)}{\partial x}=\begin{bmatrix} \frac{\partial f_1(x)}{\partial x_1} & \frac{\partial f_2(x)}{\partial x_1} & \cdots & \frac{\partial f_m(x)}{\partial x_1}\\ \frac{\partial f_1(x)}{\partial x_2} &\frac{\partial f_2(x)}{\partial x_2} &\cdots &\frac{\partial f_m(x)}{\partial x_2} \\ \vdots &\vdots & &\vdots \\ \frac{\partial f_1(x)}{\partial x_n} &\frac{\partial f_2(x)}{\partial x_n} & \cdots & \frac{\partial f_m(x)}{\partial x_n} \end{bmatrix}$

4）类似地，行向量函数 $f(x)$ 相对于复共轭列向量 $x^*$ 的梯度称为共轭梯度矩阵，定义为：

$\frac{\partial f(x)}{\partial x^* }=\begin{bmatrix} \frac{\partial f_1(x)}{\partial x_1^*} & \frac{\partial f_2(x)}{\partial x_1^*} & \cdots & \frac{\partial f_m(x)}{\partial x_1^*}\\ \frac{\partial f_1(x)}{\partial x_2^*} &\frac{\partial f_2(x)}{\partial x_2^*} &\cdots &\frac{\partial f_m(x)}{\partial x_2^*} \\ \vdots &\vdots & &\vdots \\ \frac{\partial f_1(x)}{\partial x_n^*} &\frac{\partial f_2(x)}{\partial x_n^*} & \cdots & \frac{\partial f_m(x)}{\partial x_n^*} \end{bmatrix}$

5）由以上定义易得：

$\frac{\partial x^T}{\partial x}=\frac{\partial x^H}{\partial x^*}=I$

$\frac{\partial x^T}{\partial x^*}=\frac{\partial x^H}{\partial x}=O$

式中， $I$ 和 $O$ 分别代表单位矩阵和零矩阵。

2. 标量函数的共轭梯度公式

1）若 $f(x)=c$ 为常数，则共轭梯度

$\frac{\partial c}{\partial x^*}=0$

2）线性法则：若 $f(x)$ 和 $g(x)$ 分别是向量 $x$ 的实值函数， $c_1$ 和 $c_2$ 为复常数，则

$\frac{\partial \left [ c_1f(x)+c_2g(x) \right ]}{\partial x^*}=c_1\frac{\partial f(x)}{\partial x^*}+c_2\frac{\partial g(x)}{\partial x^*}$

3）乘积法则：

①若 $f(x)$ 和 $g(x)$ 都是向量 $x$ 的的实值函数，则

$\frac{\partial f(x)g(x)}{\partial x^*}=g(x)\frac{\partial f(x)}{\partial x^*}+f(x)\frac{\partial g(x)}{\partial x^*}$

②若 $f(x)$ ， $g(x)$ 和 $h(x)$ 都是向量 $x$ 的实值函数，则

$\frac{\partial f(x)g(x)h(x)}{\partial x^*}=g(x)h(x)\frac{\partial f(x)}{\partial x^*}+f(x)g(x)\frac{\partial h(x)}{\partial x^*}+f(x)h(x)\frac{\partial g(x)}{\partial x^*}$

4）商法则：若 $g(x)\neq 0$ ，则

$\frac{\partial f(x)/g(x)}{\partial x^*}=\frac{1}{g^2(x)}\left [ g(x)\frac{\partial f(x)}{\partial x^*}-f(x)\frac{\partial g(x)}{\partial x^*} \right ]$

5）链式法则：若 $y(x)$ 是 $x$ 的复向量值函数，则

$\frac{\partial f(y(x))}{\partial x^*}=\frac{\partial [y(x)]^T}{\partial x^*}\frac{\partial f(y)}{\partial y}$

式中， $\frac{\partial [y(x)]^T}{\partial x^*}$ 为 $n\times n$ 矩阵。

6）若 $n\times 1$ 向量 $a$ 为与 $x$ 无关的常数向量，则

$\frac{\partial a^Hx}{\partial x^*}=0,\quad \frac{\partial x^Ha}{\partial x^*}=a$

7）令 $A$ 是一个与向量 $x$ 无关的矩阵，则

$\frac{\partial x^HAx}{\partial x}=A^Tx^*,\quad \frac{\partial x^HAx}{\partial x^*}=Ax$

$\frac{\partial x^HAy}{\partial A}=x^*y^T,\quad \frac{\partial x^HAx}{\partial A}=x^*x^T$

3. 迹函数的共轭梯度

1）迹函数对复共轭向量 $x^*$ 或者复共轭矩阵 $A^*$ 求梯度时，通常都是先求出迹函数相对于元素 $x_i^*$ 或者 $A_{ij}^*$ 的偏导。然后再把偏导写成向量或者矩阵的形式，得到迹函数的共轭向量或者共轭矩阵。

令 $x$ 和 $A$ 分别为 $n\times 1$ 复向量和 $n\times n$ 复矩阵。易得

$\left [ x^HA \right ]_j=\sum_{k=1}^{n}x_k^*a_{kj} \quad \Rightarrow \quad \left [ xx^HA \right ]_{ij}=\sum_{k=1}^{n}x_ix_k^*A_{kj}$

和

$tr(xx^HA)=\sum_{i=1}^{n}\sum_{k=1}^{n}x_k^*a_{ki}x_i=x^HAx$

类似地，有

$[Ax]_i=\sum_{k=1}^{n}a_{ik}x_k\quad \Rightarrow \quad [Axx^H]_{ij}=\sum_{k=1}^{n}a_{ik}x_kx_j^*$

和

$tr(Axx^H)=\sum_{i=1}^{n}\sum_{k=1}^{n}a_{ik}x_kx_i^*=x^HAx$

所以

$f(x)=x^HAx=tr(xx^HA)=tr(Axx^H)$

由 $\frac{\partial x^HAx}{\partial x^*}=Ax$ ，可得

$\frac{\partial tr(xx^HA)}{\partial x^*}=\frac{\partial tr(Axx^H)}{\partial x^*}=Ax$

2）迹函数的共轭梯度常用公式

$\frac{\partial tr(yx^H)}{\partial x^*}=\frac{\partial tr(x^Hy)}{\partial x^*}=y$

$\frac{\partial tr(BA^H)}{\partial A^*}=\frac{\partial tr(A^HB)}{\partial A^*}=B$

$\frac{\partial tr(A^H)}{\partial A^*}=I,\quad \frac{\partial tr(A)}{\partial A^*}=O$

$\frac{\partial tr(A^HWA)}{\partial A^*}=WA,\quad \frac{\partial tr(AWA^H)}{\partial A^*}=AW$

4. 例

在 CDMA 系统中，共有 $K$ 个用户在通信，每个用户的扩频波形向量为复向量 $s_k(t)$ ，接收信号向量 $y$ 也为复向量。此时，设计多用户检测器 $M$ 的目标函数为

$J(M)=E\left \{ \left \| b-My \right \|_2^2 \right \}$

$=tr(cov(b-My))$

$=tr(I)+tr(M(RA^2R+\sigma ^2R)M^H)-tr(ARM^H)-tr(MRA)$

由迹函数共轭梯度的常用公式可得

$\frac{\partial j(M)}{\partial M^*}=M(RA^2R+\sigma ^2R)-AR$

令共轭梯度为零，并假定 $R$ 非奇异，则有

$M=A(RA^2+\sigma ^2I)^{-1}$

Butterfffly

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
矩阵分析与应用(18)

学习来源《矩阵分析与应用》张贤达清华大学出版社。1.标量函数相对于复向量的梯度。分别代表单位矩阵和零矩阵。2.标量函数的共轭梯度公式。4）类似地，行向量函数。共轭梯度与无约束最优化。2）类似的，标量函数。..................
复制链接

扫一扫