【机器学习课程】高斯分布

1 概率密度函数

对于一个连续的概率密度方程，$p(x)$，满足下列特性：

1. 处理a和b两点之间的x满足：
   $$P(a<x<b)={\int }_a^{b}p(x)dx$$
2. 对于所有实数x，其值是非负的
3. 概率函数的积分为1，即有：
   $${\int }_{\infty }^{\infty }p(x)dx=1$$
   扩展到向量$\mathbf{x}$，可以有非负的$p(\mathbf{x})$具有以下性质：
4. $\mathbf{x}$在一个区域$\Omega$里的概率为：$$P={\int }_{\Omega }p(\mathbf{x})d\mathbf{x}$$
5. 概率方程的积分值为1，即有：$$\int p(\mathbf{x})d\mathbf{x}=1$$

2 高斯分布

高斯函数是使用最普遍的概率函数，高斯分布也称为正态分布，其函数为：
$$p(x)=N(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
其中，$\mu$是平均数，${\sigma }^2$是方差，$\sigma$是标准偏差

对于D维向量$\mathbf{x}$的高斯函数为：
$$N(\mathbf{x}|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{D/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$
其中$\mu$也称为平均向量，$\Sigma$称为协方差矩阵（正定），$|\Sigma |$也称为$\Sigma$的行列式

3 高斯函数的最大似然估计

给定数据集 $\mathbf{X}={\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N$，其中${\mathbf{x}}_n$假设为独立地从一个多变量的高斯分布中取出的，我们可以采用最大似然估计来确定密度参数

对数似然函数为：
$$\log p(\mathbf{X}|\mu ,\Sigma )=-\frac{ND}{2}\log (2\pi )-\frac{N}{2}\log |\Sigma |-\frac{1}{2}\sum _{n=1}^N({\mathbf{x}}_n-u{)}^T{\Sigma }^{-1}({\mathbf{x}}_n-\mu )$$

令上述式子对于均值$\mu$的微分等于0，可以得到：
$$\sum _{n=1}^N{\Sigma }^{-1}({\mathbf{x}}_n-u)=0$$
因此，${\mu }_{ML}=\frac{1}{N}{\sum }_{n=1}^N({\mathbf{x}}_n-{\mu }_{ML})({\mathbf{x}}_n-{\mu }_{ML}{)}^T$

4 Parzen windows

（1） 密度估计

给定的一系列数量为$n$的样本${\mathbf{x}}_1,\cdot \cdot \cdot ,{\mathbf{x}}_n$，可以估计密度函数$p(\mathbf{x})$，从而根据任意新样本$\mathbf{x}$可以得到输出$p(\mathbf{x})$

大部分未知密度函数估计方法的基本思想都很简单，主要是依赖于样本落在区域$R$的概率$P$，即有$P={\int }_{R}p(\mathbf{x})d\mathbf{x}$
假设区域$R$很小，$P(\mathbf{x})$在区域内波动很小，上式可以写做$P={\int }_{R}p(\mathbf{x})d\mathbf{x}\approx p(\mathbf{x}){\int }_{R}d\mathbf{x}=p(\mathbf{x})V$，这里$V$是区域$R$的“量”（二维即为面积）

从另一方面看，假设$n$个样本${\mathbf{x}}_1,\cdot \cdot \cdot ,{\mathbf{x}}_n$都是独立且服从概率密度函数$p(\mathbf{x})$，且$n$个样本中有$k$个落在区域$R$里面，则有$P=k/n$，因此$p(\mathbf{x})$的估计式为$p(\mathbf{x})=\frac{k/n}{V}$

（2）Parzen窗密度估计

考虑$R$是中心在$\mathbf{x}$的超立方体（例如二维平面），令$h$为超立方体的边缘长度，所以对于二维平面有有$V=h^2$，对于三维立体有$V=h^3$

引入$\varphi (\frac{{\mathbf{x}}_i-\mathbf{x}}{h})=\{\begin{array}{rl}1& \frac{|x_{ik}-x_k|}{h}<=1/2,k=1,2\\ 0& otherwise\end{array}$
Parzen概率密度公式（二维）为$p(\mathbf{x})=\frac{k/n}{V}=\frac{1}{n}{\sum }_{i=1}^n\frac{1}{h^2}\varphi (\frac{{\mathbf{x}}_i-\mathbf{x}}{h})$，$\varphi (\frac{{\mathbf{x}}_i-\mathbf{x}}{h})$即为窗函数
我们归纳这个思想并拓展到其他Parzen窗密度估计法中
例如，如果使用高斯函数，对于一维有：$p(x)=\frac{1}{n}{\sum }_{i=1}^n\frac{1}{\sqrt{2\pi \sigma }}\exp (-\frac{(x_i-x{)}^2}{2{\sigma }^2})$，这是对$n$个将数据点作为中心的高斯函数的简单求平均，公式中的$\sigma$需要再做确定

---

例子：
给定一个系列的5个数据点$x_1=2$，$x_2=2.5$，$x_3=3$，$x_4=1$，$x_5=6$，参数$\sigma =1$，中心$x=3$的高斯函数作为窗函数，求出Parzen概率密度估计（pdf）
解答：
$\frac{1}{\sqrt{2\pi }}\exp (-\frac{(x_1-x{)}^2}{2})=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(2-3{)}^2}{2})=0.2420$
$\frac{1}{\sqrt{2\pi }}\exp (-\frac{(x_2-x{)}^2}{2})=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(2.5-3{)}^2}{2})=0.3521$
$\frac{1}{\sqrt{2\pi }}\exp (-\frac{(x_3-x{)}^2}{2})=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(3-3{)}^2}{2})=0.3989$
$\frac{1}{\sqrt{2\pi }}\exp (-\frac{(x_4-x{)}^2}{2})=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(1-3{)}^2}{2})=0.0540$
$\frac{1}{\sqrt{2\pi }}\exp (-\frac{(x_5-x{)}^2}{2})=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(6-3{)}^2}{2})=0.0044$
因此，$p(x=3)=(0.2420+0.3521+0.3989+0.0540+0.0044)/5=0.2103$

---

下面用图形化语言表示Parzen窗，每个数据点密度函数（虚线）对于最终的概率密度函数（实线）有相同的贡献度