张学工模式识别第四版——03 概率密度函数的估计

第3章 概率密度函数的估计

3.2 最大似然估计

3.2.3 正态分布下的最大似然估计

正态分布最大似然估计的推导过程

对于一元正态分布要估计的参数为$\theta =[{\theta }_1,{\theta }_2{]}^T=[\mu ,{\sigma }^2{]}^T$，估计量为：

$$\begin{array}{rl}& \hat{\mu }=\frac{1}{N}\sum _{k=1}^N{x}_k\\ & {\hat{\sigma }}^2=\frac{1}{N}\sum _{k=1}^N(x_k-\hat{\mu }{)}^2\end{array}$$

对于多元正态分布有：

$$\begin{array}{rl}& \hat{\mu }=\frac{1}{N}\sum _{i=1}^N{x}_i\\ & {\hat{\Sigma }}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\hat{\mu })(x_i-\hat{\mu }{)}^T\end{array}$$

3.3 贝叶斯估计与贝叶斯学习

3.3.1 贝叶斯估计

独立同分布样本，样本集的联合分布为：

$$p(\mathcal{H}\mid \theta )=\prod _{i=1}^{N}p\left(x_i\mid \theta \right)$$

利用贝叶斯公式求theta的后验概率分布：

$$p(\theta \mid \mathcal{H})=\frac{p(\mathcal{H}\mid \theta )p(\theta )}{{\int }_{\Theta }p(\mathcal{H}\mid \theta )p(\theta )\mathrm{d}\theta }$$

由此可得theta的贝叶斯估计量为：

$${\theta }^{\ast }={\int }_{\Theta }\theta p(\theta \mid \mathcal{H})\mathrm{d}\theta$$

或者直接由后验概率分布得到样本的概率密度函数：

$$p(x\mid \mathcal{H})={\int }_{\Theta }p(x\mid \theta )p(\theta \mid \mathcal{H})d\theta$$

3.3.2 贝叶斯学习

△△△△贝叶斯学习步骤△△△△

3.3.3 正态分布时的贝叶斯估计

正态分布贝叶斯估计推导

假设样本模型均值$\mu$是待估计参数，方差${\sigma }^2$已知，且假定$\mu$的先验分布满足$\mu \sim N({\mu }_0,{\sigma }_0^2)$，由贝叶斯估计：

$$\begin{array}{rl}& {\mu }_N=\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{m}_N+\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0\\ & {\sigma }_N^2=\frac{{\sigma }_0^2{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}\end{array}$$

其中，$m_N=\sum _{i=1}^N{x}_i$是所有观测样本的算术平均。

也可直接求出样本的概率密度函数$p(x|\mathcal{H})\sim N({\mu }_N,{\sigma }^2+{\sigma }_N^2)$

3.4 概率密度估计的非参数方法

直方图法，小区域范围内的概密：

$$\widehat{p(x)}=\frac{k}{NV}$$

样本无穷多时$\widehat{p(x)}$收敛于$p(x)$的条件是：

$(1)\underset{n\to \infty }{\lim }{V}_n=0,(2)\underset{n\to \infty }{\lim }{k}_n=\infty ,(3)\underset{n\to \infty }{\lim }\frac{k_n}{n}=0$

$$(1)\underset{n\to \infty }{\lim }{V}_n=0,(2)\underset{n\to \infty }{\lim }{k}_n=\infty ,(3)\underset{n\to \infty }{\lim }\frac{k_n}{n}=0$$

kn近邻法估计小区域的概密：

$$\widehat{p(x)}=\frac{k_N}{NV}$$

方窗函数：

$$\phi \left({\left[u_1,u_2,\cdots ,u_d\right]}^{\mathrm{T}}\right)=\{\begin{array}{ll}1& \left|u_j\right|⩽\frac{1}{2},j=1,2,\cdots ,d\\ 0& \text{ 其他 }\end{array}$$

parzen窗法小区域内的概密：

$$\hat{p}(x)=\frac{1}{N}\sum _{i=1}^{N}K\left(x,x_i\right)$$

其中窗函数与核函数的关系：

$$K\left(x,x_i\right)=\frac{1}{V}\phi \left(\frac{x-x_i}{h}\right)$$

几种$\hat{p}(x)=\frac{1}{N}{\sum }_{i=1}^{N}K\left(x,x_i\right)$中的核函数如下：

方窗：

$$
k(x,x_i)=
\left{
\begin{aligned}

&\frac{1}{h^d} \quad|x^j-x_ij| \leq \frac{h}{2}, \quad j=1,2,\cdots,d \
&0 \quad其它

\end{aligned}
\right.
$$

其和方窗函数的关系：

$$k(x,x_i)=\frac{1}{h^d}\phi (\frac{x-x_i}{h})$$

高斯窗（正态窗）

$$k(x,x_i)=\frac{1}{\sqrt{(2\pi {)}^d{\rho }^{2d}|Q|}}\exp [-\frac{1}{2}\frac{(x-x_i{)}^T{Q}^{-1}(x-x_i)}{{\rho }^2}]$$

如果是一维正态窗，有：

k ( x , x i ) = 1 2 π σ exp ⁡ { − 1 2 ( x − x i σ ) 2 } k(x,x_i)=\frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{1}{2}(\frac{x-x_i}{\sigma})^2\} k(x,xi​)=2π ​σ1​exp{−21​(σx−xi​​)2}

超球窗：

$$
k(x,x_i)=
\left{
\begin{aligned}

&V^{-1} \quad||x-x_i|| \leq \rho \
&0 \quad其它

\end{aligned}
\right.
$$