离散随机分布

离散随机分布

1.Bernoulli分布：

两点分布或者0-1分布。bernoulli试验成功，则Bernoulli随机变量X取值为1，否则X为0。记试验成功概率为θ，即：
$P(X=1)=\theta\ \ \ P(X=0)=1-\theta\ \ \ \theta \epsilon[0,1]$
称X服从参数为θ的Bernoulli分布，记为X~Ber(θ)

$p(x|\theta) = \left \{ \right.^{\theta\ \ \ if\ x\ =\ 1}_{1-\theta\ \ \ if\ x\ =\ 0} = \theta^x(1-\theta)^x, \ \ \theta \epsilon[0,1]$

Bernoulli均值：
$\mu = 1*\theta + 0*(1-\theta) = \theta$
Bernoulli方差：
$\sigma^2 = E(x^2) - \mu^2 = 1^2*\theta + 0^2*(1-\theta) - \theta^2 = \theta - \theta^2 = \theta(1-\theta)$

两类分类问题：y|x服从Bernoulli分布，即类别标签y取值为0或1的离散随机变量

2.二项(Binomial)分布：

在抛掷硬币试验中，若只进行一次试验，则为Bernoulli试验。若进行n次试验，则硬币正面向上的数目X满足二项分布，记为: x~ Bin(n,θ)

$p(x|n,\theta) = \mathbb{C}^x_n\theta^x(1-\theta)^{n-x} = \frac{n!}{(n-x)!x!}\theta^x(1-\theta)^{n-x}$
Binomial均值：

已知：
$x\mathbb{C}^x_n = n\mathbb{C}^{x-1}_{n-1}$

$\mu = 0*\mathbb{C}^{0}_{n}\theta^{0}(1-\theta)^{n} + 1*\mathbb{C}^{1}_{n}\theta^{1}(1-\theta)^{n-1} + ... + k*\mathbb{C}^{k}_{n}\theta^{k}(1-\theta)^{n-k} + ... +n*\mathbb{C}^{n}_{n}\theta^{n}(1-\theta)^{0} =1*\mathbb{C}^{1}_{n}\theta^{1}(1-\theta)^{n-1} + ... + k*\mathbb{C}^{k}_{n}\theta^{k}(1-\theta)^{n-k} + ... +n*\mathbb{C}^{n}_{n}\theta^{n}(1-\theta)^{0} = n*(\mathbb{C}^{0}_{n-1}\theta^{1}(1-\theta)^{n-1} + ... + \mathbb{C}^{k-1}_{n-1}\theta^{k}(1-\theta)^{n-k} + ... +\mathbb{C}^{n-1}_{n-1}\theta^{n}(1-\theta)^{0}) = n\theta(\mathbb{C}^{0}_{n-1}\theta^{0}(1-\theta)^{n-1} + ... + \mathbb{C}^{k-1}_{n-1}\theta^{k-1}(1-\theta)^{n-k} + ... + \mathbb{C}^{n-1}_{n-1}\theta^{n-1}(1-\theta)^{0}) = n\theta(1 - \theta + \theta)^{n-1} = n\theta$

Binomial方差：
已知：
$x^2\mathbb{C}^x_n = n\mathbb{C}^{x-1}_{n-1} + n(n-1)\mathbb{C}^{x-2}_{n-2}$

$\sigma^2 = E(x^2) - \mu^2$

$E(x^2) = \sum_{i=0}^n i^2\mathbb{C}_n^ip^i(1-p)^{n-i} = \mathbb{C}_n^1p(1-p)^{n-1} + \sum_{i=2}^n n\mathbb{C}_{n-1}^{i-1}p^i(1-p)^{n-i} + \sum_{i=2}^n(n-1) n\mathbb{C}_{n-2}^{i-2}p^i(1-p)^{n-i} = np(1-p)$

3.多项分布(multinomial)：

假设抛有K个面的的骰子，其中抛掷到第j面的概率为$\theta_j$, 令$\theta=(\theta_1,\theta_2,...,\theta_k)$

若一共抛掷n次，$x=(x_1,...,x_n)$为随机变量，其中$x_k$是抛掷到第k面的次数，则x的分布为多项分布，即$x~Mu(n,\theta)$

$p(x|n,\theta) = \frac{n!}{x_1!...x_k}\prod_{k=1}^K\theta_k^{x_k}$

当n=1时为分类分布，Categorical 分布，$x~Cat(\theta)$