Mtalab统计信息处理的一些原理

回归分析

---

一元线性回归分析

基本定义

假设随机变量y和变量x之间服从以下线性关系
$y=\alpha+\beta x+\varepsilon$

现存在n个值
$y_{i}=\alpha+\beta x_{i}+\varepsilon_{i}$

假设$\varepsilon_{i}$相互独立而且满足
$\varepsilon_{i}$~$N(0,\sigma^2),i=1,...,n,$
则称变量y和x服从一元线性回归模型（或一元线性正态回归模型）

---

---

未知参数估计

---

（1）$(\alpha,\beta)的最小二乘估计$

偏微分最小估计

$\sum_{i=1}^n(y_{i}-\overset{\frown} {\alpha}-\overset{\frown} {\beta}x_{i})^2=\max\limits_{\alpha,\beta}(y_{i}-\alpha-\beta x_{i})^2$

对左边求偏导，得到

$\overset{\frown} {\alpha}= \overline{y}-\overset{\frown} {\beta}\overline{x}$，
$\overset{\frown} {\beta}=\dfrac{\sum_{i=1}^n(x_{i}-\overline{x})(y_{i}-\overline{y})}{\sum_{i=1}^n(x_{i}-\overline{x})^2}$

---

---

（2)$(\alpha,\beta)的极大似然估计$

由于$y_{i}相互独立， 且y_{i}$ ~$N(\alpha+\beta x_{i},\sigma^2)$
则联合概率密度为
$L= \prod_{i=1}^N \frac{1}{\sigma \sqrt{2\pi}}exp[- \frac{1}{2\sigma^2}(y_{i}-\alpha-\beta x_{i})^2]$
$=(\frac{1}{\sigma \sqrt{2\pi}})^n exp[- \frac{1}{2\sigma^2}\sum_{i=1}^n (y_{i}-\alpha-\beta x_{i})^2]$

求上述方程最大值，等价于求下述最小值$\sum_{i=1}^n(y_{i}-\overset{\frown} {\alpha}-\overset{\frown} {\beta}x_{i})^2$
所以又回归到最小二乘估计

---

---

（3）$\sigma^2$的估计

1）由$\mu_{1}=E(Y)=\mu$
$\,\,\,\,\,\,\,\,\,\,\,\,\,\mu_{2}=E(Y^2)=D(Y)+[E(Y)]^2=\sigma^2+\mu^2$
得到：$\overset{\frown} {\mu}=\overset{\frown} {\alpha}+\overset{\frown} {\beta}\overline{x}$
$\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\overset{\frown} {\sigma^2=\frac{1}{n}\sum_{i=1}^n Y_{i}^2}-\overline{Y}^2=\frac{1}{n}\sum_{i=1}^n (y_{i}-\overset{\frown} {\alpha}-\overset{\frown} {\beta}x_{i})^2$

$\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,=\frac{1}{n}\sum_{i=1}^n(y_{i}-\overline{y})^2-\beta(\frac{1}{n}\sum_{i=1}^n(x_{i}-\overline{x})^2)$

---

---

---

多元线性回归分析

---

基本定义
$y=\beta_{0}+\beta_{1}x_{1}+....+\beta_{m}x_{m}+\varepsilon$
最后有$y_{i}$ ~ $N(\beta_{0}+\beta_{1}x_{1i}+....+\beta_{m}x_{mi},\sigma^2)$

---

---

未知参数估计
常常用最小二乘法寻找$\beta=(\beta_{0},.....,\beta_{m})^T的估计值\overset{\frown} {\beta},使满足$
$\sum_{i=1}^n(y_{i}-\sum_{j=1}^nx_{ji}\overset{\frown} {\beta_{j}})^2=\min\limits_{\beta}\sum_{i=1}^n(y_{i}-\sum_{j=0}^m x_{ji}\beta _{j})^2$
对各自（$x_{ki}$）求偏导，最后得到
$\sum_{i=1}^ny_{i}x_{ki}=\sum_{i=1}^n\sum_{j=0}^m x_{ji}x_{ki}\overset{\frown} {\beta_{j}}=\sum_{i=1}^n(\sum_{j=0}^m x_{ji}x_{ki}) \overset{\frown} {\beta_{j}}$
矩阵表示
$\large{X^TY=(X^TX)\overset{\frown} {\beta}}$
可得：
$\large{\overset{\frown} {\beta}=(X^TX)^{-1}X^TY}$

---

---

---

---

---

高阶统计量理论

---

高阶统计量（HOS）理论来自对数学、统计学和信号处理等领域的研究.高阶统计量理论是在二阶统计量（相关函数和功率谱）基础上发展起来，它克服了二阶统计量因缺少相位信息而无法直接处理非最小相位系统的固有缺陷，并包含了更丰富的内容。目前，高阶统计量方法已在雷达、声呐、通讯和故障诊断等领域获得了大量的应用。

---

高阶统计量定义

---

随机变（向）量的特征函数

特征函数法是概率论和数理统计的主要分析工具之一

---

---

定义1：
1）第一特征函数：$\phi(w)= \int_{-\infty}^{\infty} f(x)e^{iwx}\, dx$
特征函数是密度f（x）的傅里叶变换，因为f（x）>=0，所以原点最大值:
l$\phi(w)$l<=$\phi(0)=1$

---

2)第二特征函数：$\psi(w)=ln[\phi(w)]$

---

---

定义2：
推广到n元，X=$[x_{1},x_{2},...,x_{n}]^T$，具有联合概率密度f(X)
即换为$\phi(w_{1},...,w_{n})和\psi(w_{1},...,w_{n})$

---

---

定义3：(K阶矩)
随机变量x的第一特征函数$\phi(w)在原点的k阶导数等于随机变量x的k阶矩m_{k}$，即
$m_{k}=\phi^{(k)}(w)|_{w=0}=E[x^k]=\int_{-\infty}^{\infty} x^kf(x)\, dx$

---

---

定义4：（k阶累计量）
随机变量x的第二特征函数$\psi(x)在原点的k阶导数等于随机变量x的k阶累积量c_{k}$，即
$c_{k}=\psi^{(k)}(w)|_{w=0}$

---

---

---

高阶累积量的定义和性质

---

---

定义：
在数学中，平稳随机过程（Stationary random process）或者严平稳随机过程（Strictly-sense stationary random process），又称狭义平稳过程，是在固定时间和位置的概率分布与所有时间和位置的概率分布相同的随机过程：即随机过程的统计特性不随时间的推移而变化。这样，数学期望和方差这些参数也不随时间和位置变化

设{x(n)}是均值为零的k阶平稳随机过程，
则该过程的k阶矩定义为：
$m_{kx}(\tau_{1},...,\tau_{k-1})=mom\{x(n),x(n+\tau_{1}),x(n+\tau_{k-1})\}$
K阶累积量：
$c_{kx}(\tau_{1},...,\tau_{k-1})=cum\{x(n),x(n+\tau_{1}),x(n+\tau_{k-1})\}$
性质:
1)$假设\lambda_{i}为常数$，则

$cum\{\lambda_{i}x_{1},...,\lambda_{k}x_{k}\}=\prod_{i=1}^k \lambda_{i}cum\{x_{1},...,x_{k}\}$

2)累积量关于变量对称，即cum内部顺序可任意打乱

3)可加性，即
$cum\{x_{0}+y_{0},x_{1},....\}=cum\{x_{0},x_{1},....\}+cum\{y_{0},x_{1},....\}$

4)如果a为常数，则
$cum\{x_{0}+a,x_{1},....\}=cum\{x_{0},x_{1},....\}$

5)如果随机变量$x_{i},y_{i}相互独立$，则
$cum\{x_{1}+y_{1},....,x_{k}+y_{k}\}=cum\{x_{1},....,x_{k}\}+cum\{y_{1},....,y_{k}\}$

6)如果随机变量中某个子集与其补集相互独立，则
$cum\{x_{1},....,x_{k}\}=0$

---

---

---

高斯过程的高阶累积量

---

---

随机变量x服从高斯分布$N(0,\sigma^2)$，则其概率密度函数为
$f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-x^2/{2\sigma^2}}$
则第一特征函数为：
$\phi(w)=e^{-\frac{\sigma^2w^2}{2}}$
第二特征函数为：
$\psi(w)=ln(\phi(w))={-\frac{\sigma^2w^2}{2}}$

---

---

---

高斯随机过程

---

---

假设n维高斯随机向量 $\large{x}=[x_{1},...,x_{n}]^T$,
均值向量为$\large{\mu}=[\mu_{1},...,\mu_{n}]^T$,
协方差矩阵为$\Sigma_{n \times n}$,
其中$\Sigma_{i,j}=E\{(x_{i}-/mu_{i})(x_{j}-/mu_{j})\}$


图中$a为\mu$

---

由于$\psi(w)$是关于变量$w_{i}$的二次多项式，因此$\psi(w)$关于变量$w_{i}$的三阶以上导数等于0，则x的三阶以上累积量等于零。进一步，对于高斯随机过程x（n），其阶次大于2的k阶累积量也为零，即
$c_{kx}(m_{1},...,m_{k-1})=0,k>=3$
因此高阶累积量可以自动抑制高斯背景噪声的影响

---

---

---

---

高阶累积量与非线性系统

之间的相互耦合信息，使不同频率成分间由于相位的相关性而相互耦合，是能量分布由于非线性耦合而发生变化的反映，因此从二阶响应中可以提取二阶非线性相位耦合信息

---

---

---

---

双谱定义

---

---

定义：
实际中由于任何高斯过程的高阶累积量均等于零，而高阶矩却无此优点，所以常常使用累积量及其谱，它在理论上可完全抑制高斯有色噪声的影响，习惯上将高阶累积谱简称作高阶谱，最常用的高阶谱是三阶谱（双谱）和四阶谱（三谱）

---

---