常见离散的概率分布

二项分布

假设抛一枚硬币，$X \in \{0,\dots,n\}$ 是正面朝上的次数。正面朝上的概率 $\theta$ 。则 $X$ 具有二项分布，写作 $X \thicksim Bin(n,\theta)$

$$Bin(k|n,\theta) = C_{n}^{k}{\theta^{k}}{(1-\theta)^{n-k}}$$

$\mu = n\theta,var = n\theta(1-theta)$

$$E(X) = 0 \times C_{n}^{0}{\theta^{0}}{(1-\theta)^{n}}+\dots+k \times C_{n}^{k}{\theta^{k}}{(1-\theta)^{n-k}} +\dots+ n \times C_{n}^{n}{\theta^{n}}{(1-\theta)^{n-n}}$$
$$=n\theta(C_{n}^{0}{\theta^{0}}{(1-\theta)^{n}}+\dots+C_{n}^{k}{\theta^{k}}{(1-\theta)^{n-k}}+\dots+C_{n-1}^{n-1}{\theta^{n-1}}{(1-\theta)^{0}})$$
$$=n\theta(\theta+1-theta)^{n-1}=n\theta$$

伯努利分布

伯努利分布是二项分布的一个特例，即 $n=1$ 的情况，$X \in \{0,1\}$ 时，二项分布可写作

$$Ber(x|\theta) = \cases{\theta & if x=1 \cr 1-\theta & if x=0}$$

多项式分布

二项式分布是抛硬币，多项式分布是抛色子，$\mathbb{x}=(x_{1},\dots,x_{K})$， $x_{j}$ 是出现第 $j$ 面的次数

$$Mu(\mathbb{x}|n,\mathbb{\theta}) = \dbinom{n}{x_{1} \dots x_{K}} \prod_{j=1}^{K}{\theta_{j}^{x_{j}}}$$

其中 $\theta_{j}$ 是第 $j$ 面出现的概率，而

$$\dbinom{n}{x_{1} \dots x_{K}} = \frac{n!}{x_{1}!x_{2}! \dots x_{K}!}$$

当 $n=1$ ，$Mu(\mathbb{x}|1,\mathbb{\theta}) = \prod_{j=1}^{K}{\theta_{j}^{\mathbb{1}()}}$
当 $n=1$ ，$Mu(\mathbb{x}|1,\mathbb{\theta}) = \prod_{j=1}^{K}{\theta_{j}^{\mathbb{1}(x_{j}=1)}}$

泊松分布

$X \in \{0,1,2,\dots\}$ 且 $\lambda > 0$ 的泊松分布 $X\thicksim Poi(\lambda)$

$$Poi(x|\lambda)=e^{-\lambda}\frac{\lambda^{x}}{x!}$$

经验分布

$D = \{x_{1},\dots,x_{N}\}$， 经验分布

$$p(x)=\sum_{i=1}^{N}{w_{i} \delta_{x_{i}}(x)}$$
其中 $\delta_{x}(A)=\cases{0 & if x \notin A \cr 1 & if x \in A}$， $0\leq w_{i} \leq 1$ 并且 $\sum_{i=1}^{N}w_{i}=1$