机器学习: 离散变量的概率分布

二元分布

先介绍最简单的一种二元概率分布，比如抛硬币，只有两种可能。假设随机变量为$x$，那么$x \in \{0, 1 \}$, $x=1$ 表示硬币是字朝上，$x=0$ 表示硬币是
花朝上。$p(x=1)=\mu$ 表示 $x=1$ 的概率为 $\mu$, 那么 $p(x=0)=1-\mu$, 其中，$\mu$ 满足 $0 \le u \le 1$，那么随机变量$x$ 的概率分布满足:

$$B(x|\mu)=\mu^{x} (1-\mu)^{1-x}$$

这个称为伯努利分布，可以很容易得到该分布的期望与方差为:

$$E(x)=\mu \quad \text{var}(x)=\mu (1-\mu)$$

如果，硬币抛了很多次，我们有了很多的观测数据 $D=\{x_{1}, x_{2}, ..., x_{N}\}$，那么我们可以得到如下的似然函数:

$$p(D|\mu)=\prod_{i=1}^{N}p(x_{i}|\mu)=\prod_{i=1}^{N} \mu^{x_{n}}(1-\mu)^{1-x_{n}}$$

如果要根据观测数据估计参数$\mu$, 可以利用最大似然估计，对上式取对数，可以得到:

$$\text{ln} p(D|\mu)= \sum_{i=1}^{N} \text{ln}p(x_{i}|\mu) = \sum_{i=1}^{N} \{ x_{i}\text{ln}\mu+(1-x_{i})ln(1-\mu) \}$$

可以得到参数$\mu$ 的最大似然估计为:

$$\mu_{ML}=\frac{1}{N}\sum_{i=1}^{N} x_{i}$$

从古典统计的角度来看，其实就是观测数据中 $x=1$ 所占的比例。这种估计在观测数据少的时候，会有问题，比如如果我们抛了三次硬币得到三次观测数据 $x_{1}, x_{2}, x_{3}$，如果三次都是 $x=1$，那么我们估计的参数 $\mu$ 为1，意味着第四次抛硬币，$x=1$的概率为百分之百，这似乎违反我们一般的直觉，我们可以认为第四次抛硬币，$x=1$的概率大于百分之五十，但不应该是百分之百。这是最大似然估计的缺陷，因为最大似然估计只根据观测数据来确定参数。如果要得到更合理的估计，应该要对参数$\mu$ 给定一个先验分布，然后再利用最大后验概率估计来确定参数。具体的细节可以参考下面的文献。

多元分布

伯努利分布是描述二元分布的，但是有的时候，一个变量可能不止两种状态，比如扔色子，从1到6会有6种可能，这种是多元分布。对于这种多元分布，有种简单的描述就是用一个只包含0与1的向量$\mathbf{x}$来表示，这个向量中只含有一个1，其它都是0，比如 $\mathbf{x}=\{0,0,0,1,0,0\}$ 表示色子的点数为4，一个包含$K$个状态的随机变量，可以用一个维度为$K$的向量来表示，其满足 $\sum_{k=1}^{K} x_{k}=1$，每个状态的概率为$\mu_{k}$, 并且 $\sum_{k=1}^{K} \mu_{k}=1$。

向量$\mathbf{x}$的概率分布满足:

$$p(\mathbf{x} | \mathbf{\mu})=\prod_{k=1}^{K} \mu_{k}^{x_{k}}$$

给定一组观测数据$D$,含有$N$个独立的观测值 $\mathbf{x}_{1}, \mathbf{x}_{2}, ... , \mathbf{x}_{N}$, 那么对应的似然函数为:

$$p(D| \mathbf{\mu})=\prod_{n=1}^{N} \prod_{k=1}^{K} \mu_{k}^{x_{nk}}= \prod_{k=1}^{K} \mu_{k}^{(\sum_{n} x_{nk})}= \prod_{k=1}^{K} \mu_{k}^{m_{k}}$$

利用最大似然估计，可以得到相应的参数 $\mu_{k}^{ML}$ 为:

$$\mu_{k}^{ML}=\frac{m_{k}}{N}$$

其中，$m_{k}$ 表示观察数据 $\mathbf{x}$中，第 $k$ 分量为 1的个数，$N$ 表示总的观察数据的个数。

事实上，多元分布还可以表示另外一种概率分布，上面我们讨论的是一个变量可能有多个状态，而且每个状态是互斥的。还有一种情况是多个变量同时出现，但是每个变量依然只有两种状态。比如，我们同时扔6个硬币，每个硬币只有两种状态：字或者花。如果一次抛六个硬币，那么每次这六个硬币的概率分布可以表示为:

$$p(\mathbf{x} | \mathbf{\mu})=\prod_{k=1}^{K} \mu_{k}^{x_{k}} (1-\mu_{k})^{(1-x_{k})}$$

$\mathbf{x}=\{x_{1}, x_{2},...x_{6}\}$, 其中$x_{k}$ 表示第 $k$ 个硬币的状态 (0或者1), $\mu_{k}$ 表示第$k$ 个硬币字朝上($x_{k}=1$)的概率。我们可以看到，$0 \leq \mu_{k} \leq 1$, $\sum_{k=1}^{6} \mu_{k} \neq 1$。虽然两者的形式看起来很像，但是所表达的含义却完全不同。