Adaptive Filter Learning Notes 自适应滤波学习笔记01 随机过程

这是一个学习笔记系列。为督促自己看书，尽量更新。但同时也在学其他东西，也不知道能不能实现。少玩耍，多读书。

应该会慢慢改进，会慢慢补充每一个部分的笔记。

Stochastic Progress and Models

一些定义

*本节出现的概念：随机过程(stochastic progress)，强平稳过程(strictly stationary progress)，均值函数(mean-value function)，自相关函数(autocorrelation funtion)，自协方差函数(autocovariance function)，均方值(mean-square value)，方差(covariance)，广义平稳（wide-sense stationary）或 弱平稳（weakly stationary），均值遍历性(mean ergodic)，相关矩阵(correlation matrix)

随机过程(stochastic progress) 是一个与时间有关的函数。这个系列里面关注的随机过程是关于时间离散的，且为等时距观测的过程。随机过程还是一个比较抽象和虚无缥缈的东西。我感觉和随机以及概率牵扯上的都天生有种朦胧感。如果一个离散时间随机过程在现实中实现，就看作是一个时间序列。为了表示的方便我们可以吧时距固定为1，设$u(n)$为当前（present） 的观测。

强平稳过程(strictly stationary progress) 是指其统计特性不随时间变化的过程。对于我们这里的考虑的随机过程来看就是指，$u(n),u(n-1),\dots ,u(n-M)$的联合概率密度函数是不随时间变化的。在实际情况中，随机过程的联合概率密度是很难测量到的，所以我们考虑随机过程的部分性质，即一阶矩和二阶矩。
为简化符号，$u(n)$也可用来代指整个随机过程。随机过程$u(n)$的均值函数(mean-value function) 为$$\mu (n)=\mathbb{E}[u(n)],$$其中$\mathbb{E}$表示求期望。自相关函数(autocorrelation function) 为$$r(n,n-k)=\mathbb{E}[u(n)u^{\ast }(n-k)],k=0,\pm 1,\pm 2,\dots$$其中${}^{\ast }$表示共轭。自协方差函数(autocovariance function) 为$$c(n,n-k)=\mathbb{E}[(u(n)-\mu (n))(u(n-k)-\mu (n-k){)}^{\ast }]=r(n,n-k)-\mu (n)\mu (n-k).$$对于强平稳过程来说前面这三个函数应该都是和时间没有关系的，也就是与$n$无关，$\mu (n)=\mu ,r(n,k)=r(k),c(n,k)=c(k)$。特别地，当$k=0$时，$r(0)=\mathbb{E}[|u(n){|}^2]$，即均方值(mean-square value)；$c(0)={\sigma }_u^2$，即方差(covariance)。当$\mu =0$时，$r(k)=c(k)$，在后面的众多滤波的分析中都是假设$\mu =0$的，故就都用的$r(k)$。

注：$\mu (n)=\mu ,r(n,k)=r(k),c(n,k)=c(k)$并不能保证随机过程是强平稳的，毕竟只是统计特性中的部分性质，但可以称这种随机过程是广义平稳（wide-sense stationary）或弱平稳（weakly stationary）。Doob 在1953年证明了$u(n)$是广义平稳的$\iff$对于任意的$n$，$\mathbb{E}[|u(n){|}^2]<0$【这个我没有搞太清楚也还没查证，先暂时放在这里，一般的物理或者工程上的随机过程都是能满足这个条件的】。

对于一个广义平稳过程来说，关于时间求平均到底是不是这个随机过程的均值？这里有一个相关的定理。设$$\hat{\mu }(N)=\frac{1}{N}$$