机器学习基础专题：高斯分布

记号和术语

$X \in R^{N*p} = (x_1, x_2, …, x_N)^T $

$x_i=(x_{i1},...,x_{ip}{)}^T$

表示数据共有N个样本，每个样本的维度是p。

iid，即Independent and identically distributed，表示一组随机变量中每个变量的概率分布都相同，且这些随机变量互相独立。

MLE，即maximum likelihood estimation，最大似然估计，用来估计一个概率模型的参数的一种方法。

MAP，即Maximum a posteriori estimation，最大后验概率，考虑了被估计量的先验概率分布。

马氏距离，即Mahalanobis Distance，是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。

统计与概率

频率派/统计学

$p(x|\theta )$ 中的$\theta$是一个常量。假设iid，观测到数据的N个样本来说的概率是$p(X|\theta )={\prod }_{i=1}^{N}p(x_i|\theta ))$。可以采用MLE逆向求解$\theta$。

${\theta }^{\ast }=argma{x}_{\theta }logp(X|\theta )=argma{x}_{\theta }{\sum }_{i=1}^{N}logp(x_i|\theta )$

贝叶斯派/概率学

$p(x|\theta )$ 中的$\theta$是一个变量，服从一个先验分布$p(\theta )$。依赖数据集参数的后验概率可以写成

$p(\theta |X)=p(X|\theta )\ast p(\theta )/p(X)=p(X|\theta )\ast p(\theta )/{\int }_{\theta }[p(X|\theta )\ast p(\theta )]d\theta$

可以用MAP求解$\theta$。

${\theta }^{\ast }=argma{x}_{\theta }p(\theta |X)=argma{x}_{\theta }p(X|\theta )\ast p(\theta )$

高斯分布

在iid的条件下，$x\sim N(\mu ,\Sigma )$，$\Sigma ={\sigma }^2$

高斯分布的概率密度函数PDF可以写作$p(x|\mu ,\Sigma )=1/[(2\pi {)}^{p/2}|\Sigma {|}^{1/2}]\ast e^{-0.5(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$

缺点

1. $\Sigma$有$\frac{p^2+p}{2}$个参数，对于高维的$x$计算过于复杂。
2. 难以处理多个峰值的数据

一维

此时$p$ = 1,
l o g P ( X ∣ θ )