从伯努利分布到多项式分布

1. 伯努利分布(bernouli distribution)

伯努利分布（Bernoulli distribution）又名 两点分布 或 0-1分布，在讲伯努利分布前首先需要介绍伯努利试验（Bernoulli Trial）

1.1 伯努利试验 (抛一次硬币)

伯努利试验是只有两种可能结果的单词随机试验，即对于一个随机变量X：

因为只有两种可能结果，伯努利试验都可以表示为“是”或“否”的问题。如果试验 E 是一个伯努利试验，将 E 独立重复地进行 n 次，则将这一系列重复的独立试验称为是 n 重伯努利试验,这时你可能会联想到逻辑回归，逻辑回归中，你可以理解成每一个样本是一个伯努利分布，由它固定的参数(预测值，随权重矩阵W的变化而变化)，n重就代表它有n个样本。

1.2 伯努利分布

伯努利分布的期望与方差公式推导

2. 二项分布(抛n次硬币)

2.1 二项定理

二项定理是由牛顿-莱布尼茨发明的，解决了两个数相加的n次方问题，使用了排列组合即：

2.2 二项式分布(Binomial Distribution)

期望：np
方差：np(1-p)
二项分布的期望与方差求解

3. 多项式分布（Multinomial Distribution，抛n次骰子）

3.1 多项式定理

3.2 多项式分布

多项式分布的期望与方差：

4. 多类别分布(Categorical Distribution，抛一次骰子)

理解了第三节，本节自然而然就理解了。将第3节的n置为1即只做一次实验，这里你可以联想到激活函数softmax，没错，就是它!

5. 总结