《Adaptive Filter》笔记

Chapter A Random Variables

A.1 随机变量的方差

首先解释随机变量的方差的意义。
考虑一个平均值为$\overline{x}$和方差为${\sigma }_x^2$的标量实值随机变量$x$如
$$\overline{x}{=}^{△}E\mathbf{x},{\sigma }_x^2{=}^{△}E(\mathbf{x}-\overline{x})=E{\mathbf{x}}^2-{\overline{x}}^2$$
其中加黑字体表示随机变量。直观地说，$\mathbf{x}$的方差定义了围绕$\overline{x}$的实轴上的一个区间，其中$\mathbf{x}$的值最有可能出现在：
1.一个较小的${\sigma }_x^2$表示$\mathbf{x}$更可能加设置接近平均值$\overline{x}$
2.一个较大的${\sigma }_x^2$表示$\mathbf{x}$更可能出现在其平均值周围的更宽区间内取值。
因此习惯上将随机变量的方差视为对给定实验中所能假设值得不确定性的度量。一个较小的方差表示我们对$\mathbf{x}$的期望值更确定。

A.2相关随机变量

在估计理论中，通常情况下，一个变量的信息是从另一个变量的观测中提取的。从观测中提取的信息得相关性是两个随机变量之间密切相关程度的函数，通过他们之间的依赖关系或相关性来衡量。

A.3负值随机变量

A.4向量值随机变量

向量值随机变量是随机变量的集合（以列或行向量得形式）。单个条目本身可以是实数或复数。比如，如果$\mathbf{x}=colx(0),x(1)$是一个具有x(0)和x(1)得随机向量，呢么我们将其平均值定义为单个平均值的向量。
$$\overline{x}=E\mathbf{x}=\left[\begin{array}{l}\overline{x}(0)\\ \overline{x}(1)\end{array}\right]=\left[\begin{array}{l}Ex(0)\\ Ex(1)\end{array}\right]$$
其协方差矩阵为
$$R_x=E(x-\overline{x})(x-\overline{x}{)}^{\ast }$$

A.5高斯随机向量

给出两个高斯随机向量四阶矩的结论。这些结论在均方性能和瞬态性能的分析中会使用。
LemmaA.2:（实高斯变量的四阶矩）假设x是具有零均值和对角协方差矩阵的实值高斯随机列向量。例如$Ex{x}^T=\Lambda$。那么对任意相容维数的对称矩阵W都有$$Ex{x}^{T}Wx{x}^T=\Lambda Tr(W\Lambda )+2\Lambda W\Lambda$$

B.1 Hermitian 矩阵与正定矩阵

Hermitian矩阵：矩阵A的Hermitian共轭A*是其专职的复共轭。
谱分解：Hermitian矩阵只能有实特征值。假设$u_i$为${\lambda }_i$的特征向量。两边左乘$u^{\ast }$即$u_i^{\ast }A{u}_i=\lambda ||u_i|{|}^2$。现在这个等式左侧的标量是实的，因为他与他的复共轭一致即$(u_i^{\ast }A{u}_i{)}^{\ast }=u_i^{\ast }A{u}_i$。因此${\lambda }_i$也必须是实数。
Hermitian矩阵的另一个重要性质是这种矩阵总是有一组正交的特征向量。也就是说，如果A是一个n×n的Hermitian矩阵，那么就会存在n个正交的特征向量$u_i$满足$$A{u}_i={\lambda }_i{u}_i,||u_i|{|}^2=1,u_i^{\ast }{u}_j=0fori\ne j$$
可以将A的谱分解写成$$A=U\Lambda U^{\ast }$$
其中 Λ = d i a g { λ 1 , . . . , λ n } \Lambda=diag\{\lambda_1,...,\lambda_n\} Λ=diag{λ1​,...,λn​}，$U=[u_1,...,u_n]$且U满足$$U{U}^{\ast }=U^{\ast }U=I$$
我们说U是酉矩阵。
LemmaB.1(特征值的Raylelgh-Ritz特征)如果A是一个n×n的Hermitian矩阵，那么对于所有的向量x$${\lambda }_{min}||x|{|}^2\le x^{\ast }Ax\le {\lambda }_{max}||x|{|}^2$$
以及$${\lambda }_{min}=\underset{||x||=1}{\min }{x}^{\ast }Ax，{\lambda }_{max}=\underset{x\ne 0}{\max }(\frac{x^{\ast }Ax}{x^{\ast }x})=\underset{||x||=1}{\max }{x}^{\ast }Ax$$
**正定矩阵：**一个n×n的Hermitian矩阵是半正定的，即$x^{\ast }Ax\ge 0$
LemmaB.2（正定矩阵的特征值）一个n×n的Hermitian矩阵A是正定的，当且仅当所有特征值均为正。

B.2矩阵的范围空间和零空间

形如$A^{\ast }Ax=A^{\ast }b$的线性方程组对于任何向量b都有一个解x
每个完全满秩的矩阵都使得$A^{\ast }A$是可逆的（实际上是正定的）。同时，任何Hermitian正定矩阵B都满足$A^{\ast }BA>0$

B.3Schur补

首先假设逆矩阵存在。考虑一个块矩阵
$$M=\left[\begin{array}{l}AB\\ CD\end{array}\right]$$
M中A的Schur补由${\Delta }_A$表示，被定义为
$${\Delta }_A=D-C{A}^{-1}B$$
同样的，M中D的Schur补被定义为
块分解:就这些Schur补而言，通过直接计算很容易验证矩阵M可按以下两种有用形式中的任一种进行分解
$$\begin{gathered} \left[\begin{array}{l}AB\\ CD\end{array}\right]=\left[\begin{array}{l}I0\\ C{A}^{-1}I\end{array}\right]\left[\begin{array}{l}A0\\ 0{\Delta }_A\end{array}\right]\left[\begin{array}{l}I{A}^{-1}B\\ 0I\end{array}\right] \\ =\left[\begin{array}{l}IB{D}^{-1}\\ 0I\end{array}\right]\left[\begin{array}{l}{\Delta }_{D}0\\ 0D\end{array}\right]\left[\begin{array}{l}I0\\ D^{-1}CI\end{array}\right] \end{gathered}$$

B.7克罗内克积

设$A=[a_{ij}{]}_{i,j=1}^m$和$B=[b_{ij}{]}_{i,j=1}^n$分别是m×m和n×n的矩阵。其克罗内克积（也称张量积）由$A\otimes B$，其元素为$$A\otimes B=\left[\begin{array}{l}{a}_{11}B{a}_{12}B...a_{1m}B\\ a_{21}B{a}_{22}B...a_{2m}B\\ ...\\ a_{m1}B{a}_{m2}B...a_{mm}B\end{array}\right]$$
克罗内克积的主要用于用向量运算代替矩阵运算。

Chaper C

chapterC解释了如何区分标量值函数g(z)与复值参数z及其复共轭z*。参数z可以是标量，也可以是向量。

C.1Cauchy-Riemann 条件

首先是标量参数z=x+jy，可以将g(z)视为两个实标量的函数：$$g(z)=u(x,y)+jv(x,y)$$
现在，根据复函数理论，g(z)在$z_0=x_0+j{y}_0$的导数被定义为：
$$\frac{dg}{dz}=\underset{\Delta x\to 0}{\lim }\frac{g(x_0+\Delta x,y_0+\Delta y)-g(x_0,y_0)}{\Delta x+j\Delta y}$$
我们定义： d g d z = 1 2 { ∂ g ∂ x − j ∂ g ∂ y } \frac{dg}{dz}=\frac{1}{2}\{\frac{\partial g}{\partial x}-j\frac{\partial g}{\partial y}\} dzdg​=21​{∂x∂g​−j∂y∂g​}
当且仅当满足$$\frac{\partial u}{\partial x}=\frac{\partial v}{\partial y}and\frac{\partial u}{\partial y}=\frac{\partial v}{\partial x}$$

C.2 标量参数

更一般地，如果g是z和z的函数，我们定义其关于z和z的偏导数如下：

C.3 向量参数

假设z是一个列向量，即
z = c o l { z 1 , z 2 , . . . , z n } z=col\{z_1,z_2,...,z_n\} z=col{z1​,z2​,...,zn​}
那么g关于z的负梯度表示为如下行向量：
∇ z g = { ∂ g / ∂ z 1 . . . ∂ g / ∂ z n } \nabla_zg=\{\partial g/\partial z_1\quad...\quad\partial g/\partial z_n\} ∇z​g={∂g/∂z1​...∂g/∂zn​}
同样地，g关于z的负梯度被定义为列向量。
我们之所以选择将g关于z的负梯度定义为行向量，将g关于z的负梯度定义为列向量是因为后续的微分结果将与我们所习惯的实值函数的标准微分结果一致。
Hessian矩阵
实值参数

纯量值数据

重点在从一组最小均方意义上的测量中估计一个不可观测量的基本问题上。根据测量数据所传递的关于不可测量的信息的多少，估计任务的难度增加或减少

1.1 无观测估计

假设对实值随机变量x的全部已知是他的均值$\overline{x}$和方差${\sigma }_x^2$且我们希望估计x在给定实验中的假设值。用$\hat{x}$表示x的估计值。为了求出估计值，我们首先选择一个代价函数。得到的估计值$\hat{x}$只有在它导致最小的代价值得意义上才是最优的。代价函数的不同选择通常会导致$\hat{x}$的不同选择，每个选择都以自己的方式最优。采用设计准则为均方误差准则。$$\tilde{x}=x-\hat{x}$$
然后通过最小化均方误差MSE来确定$\hat{x}$，定义$\hat{x}$的期望值，即$$\underset{\hat{x}}{\min }E\hat{x}\text{\hspace{1em}(1.1)}$$