伯努利分布、二项分布、多项分布、贝塔分布、狄利克雷分布、高斯分布

伯努利分布

伯努利分布，又名两点分布或0-1分布，介绍伯努利分布前首先需要引入伯努利试验。
伯努利试验是只有两种可能结果的单次随机试验，即对于一个随机变量X而言：
$$\begin{array}{l}P(X=1)=p\\ P(X=0)=1-p\end{array}$$
伯努利试验都可以表达为“是或否”的问题。
如果试验E是一个伯努利试验，将E独立重复地进行n次，则称这一串重复的独立试验为n重伯努利试验。
进行一次伯努利试验，成功（X=1）概率为p，失败（X=0）概率为1-p，则称随机变量X服从伯努利分布。
其概率质量函数为：
$$f(x)=p^x(1-p{)}^{1-x}$$
伯努利分布的
$$EX=p,DX=p(1-p)$$
伯努利分布是一个离散型概率分布，是N=1时二项分布的特殊情况。
伯努利分布的典型例子：抛一次硬币是正面向上吗？刚出生的小孩是个女孩吗？

二项分布

二项分布是n重伯努利试验成功次数X的离散概率分布。
如果试验E是一个n重伯努利试验，每次伯努利试验的成功概率为p，X代表成功的次数，则X的概率分布是二项分布，记为
$$X\sim B(n,p)$$
其概率质量函数为：
P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , … , n P\{X=k\}=C_{n}^{k} p^{k}(1-p)^{n-k}, k=0,1,2, \ldots, n P{X=k}=Cnk​pk(1−p)n−k,k=0,1,2,…,n
显然
∑ k = 0 n P { X = k } = ∑ k = 0 n C n k p k ( 1 − p ) n − k = [ p + ( 1 − p ) ] n = 1 \sum_{k=0}^{n} P\{X=k\}=\sum_{k=0}^{n} C_{n}^{k} p^{k}(1-p)^{n-k}=[p+(1-p)]^{n}=1 k=0∑n​P{X=k}=k=0∑n​Cnk​pk(1−p)n−k=[p+(1−p)]n=1
伯努利分布是二项分布在n=1时的特例。
二项分布名称的由来，是由于其概率质量函数中使用了二项系数，该系数是二项式定理中的系数，二项式定理由牛顿提出：
$$(x+y{)}^n=C_n^k{x}^k{y}^{n-k}$$
二项分布的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。

多项分布

多项式分布是二项式分布的推广。二项式做n次伯努利实验，规定了每次试验的结果只有两个。
如果现在还是做n次试验，只不过每次试验的结果可以有多m个，且m个结果发生的概率互斥且和为1，则发生其中一个结果X次的概率就是多项分布。
扔骰子是典型的多项式分布。扔骰子，不同于扔硬币，骰子有6个面对应6个不同的点数，这样单次每个点数朝上的概率都是1/6（对应p1~p6，它们的值不一定都是1/6，只要和为1且互斥即可，比如一个形状不规则的骰子）,重复扔n次，如果问有k次都是点数6朝上的概率就是：
P { X = k } = C n k p 6 k ( 1 − p 6 ) n − k , k = 0 , 1 , 2 , … , n P\{X=k\}=C_{n}^{k} p_{6}^{k}\left(1-p_{6}\right)^{n-k}, k=0,1,2, \ldots, n P{X=k}=Cnk​p6k​(1−p6​)n−k,k=0,1,2,…,n
多项式分布的概率质量函数为：
$$P(X_1=k_1,X_2=k_2,\cdots ,X_n=k_n)=\frac{n!}{((k_1!)(k_2!)\cdots (K_n!))}\prod _{i=1}^n(P_i^{k_i})$$
$$where\sum _{i=0}^n{k}_i=n$$
如：
假设萤火虫对食物的喜欢次序为：花粉，蚜虫，面团。假设20%的萤火虫喜欢花粉，35%的萤火虫喜欢蚜虫，45%的萤火虫喜欢面团。我们对30只萤火虫做实验，发现8只喜欢花粉，10只喜欢蚜虫，12只喜欢面团，则这件事的概率为
$$P\left(N_1=8,N_2=10,N_3=12\right)=\frac{30!}{8!10!12!}0.2^{8}0.35^{10}0.45^{12}$$

贝塔分布

β分布可以看作一个概率的概率分布，当你不知道一个东西的具体概率是多少时，它可以给出了所有概率出现的可能性大小。
举例：
棒球运动中有一个指标就是棒球击球率，即用一个运动员击中的球数除以击球的总数，我们一般认为0.266是正常水平的击球率，而如果击球率高达0.3就被认为是非常优秀的。
现在有一个棒球运动员，我们希望能够预测他在这一赛季中的棒球击球率是多少。你可能就会直接计算棒球击球率，用击中的数除以击球数，但是如果这个棒球运动员只打了一次，而且还命中了，那么他就击球率就是100%了，这显然是不合理的，我们也不会这么预测。因为我们都有一个先验期望。根据历史情况，我们认为一个运动员大概的击球率应当是在0.21到0.35之间。
对于上面这个问题，我们可以用一个二项分布表示（一系列成功或失败），一个最好的方法来表示这些经验（在统计中称为先验信息）就是用β分布，这表示在我们没有看到这个运动员打球之前，我们就有了一个大概的范围。β分布的定义域是（0,1）这就跟概率的范围是一样的。
接下来我们将这些先验信息转换为β分布的参数，我们知道一个击球率应该是平均0.27左右，而他的范围是0.21到0.35，那么根据这个信息，我们可以取:
$$a=81,\beta =219$$
之所以取α=81，β=219是因为beta分布的均值是
$$\frac{\alpha }{\alpha +\beta }=\frac{81}{81+219}=0.27$$
β分布为：
$$\beta (81,219)$$
我们可以据此画出概率分布图，图上的x轴就表示各个击球率的取值，x对应的y值就是这个击球率所对应的概率。也就是说β分布可以看作一个概率的概率分布。这个分布主要落在(0.2,0.35)间，这是从经验中得出的合理的范围。
现在我们考虑一个运动员新打了一次球，得到一个新数据“一击一中”。这时候我们就可以用这个数据更新我们的分布，让上图的曲线做一些移动去适应我们的新信息。
β分布在数学上与二项分布是共轭先验的。所谓共轭先验就是先验分布是β分布，而后验分布同样是β分布。
于是β分布变为：
$$\beta \left({\alpha }_0+\text{ hits },{\beta }_0+\text{ misses }\right)$$
其中α0和β0是一开始的参数，对于上面的例子，是81和219。
现在有了新数据一击一中，于是hits=1，misses=0。
如果我们得到了更多的数据，假设一共打了300次，其中击中了100次，200次没击中，那么这一新分布就是：
$$\beta (81+100,219+200)$$
这时画出新的概率分布可以发现曲线变得更加尖，并且平移到了一个右边的位置，表示比平均水平要高。

根据这个新的β分布，我们可以得出他的数学期望为:
$$\frac{\alpha }{\alpha +\beta }=\frac{82+100}{82+100+219+200}=0.303$$
这一结果要比直接估计要小
$$\frac{100}{100+200}=0.333$$
这是因为我们加入了先验信息:这个运动员在击球之前他已经成功了81次，失败了219次。
对于一个我们不知道概率是什么，而又有一些合理的猜测时，β分布能很好的作为一个表示概率的概率分布。
二项分布的似然函数为：
$$P(\text{ data }|\theta )\propto {\theta }^z(1-\theta {)}^{N-z}$$
$$z=\sum _{i=1}^N{X}_i$$
β分布的概率密度函数为：
$$(a,b)=\frac{{\theta }^{a-1}(1-\theta {)}^{b-1}}{B(a,b)}\propto {\theta }^{a-1}(1-\theta {)}^{b-1}$$
在β分布中，B函数是一个标准化函数，它只是为了使得这个分布的概率密度积分等于1才加上的。
贝叶斯估计：
我们做贝叶斯估计的目的就是要在给定数据的情况下求出θ的值，所以我们的目的是求解如下后验概率：
$$P(\theta |data)=\frac{P(\text{ data }|\theta )P(\theta )}{P(\text{ data })}\propto P(\text{ data }|\theta )P(\theta )$$
因为P（data）与我们所需要估计的θ是独立的，因此我们可以不考虑它。我们称P（data|θ）为似然函数，P（θ）为先验分布。

β分布与二项分布的共轭先验性质：

我们将β分布代进贝叶斯估计中的P（θ）中，将二项分布的似然函数代入P（data|θ）中，可以得到：
$$P(\theta |\text{ data })\propto {\theta }^z(1-\theta {)}^{N-z}{\theta }^{a-1}(1-\theta {)}^{b-1}$$
$$\propto {\theta }^{a+z-1}(1-\theta {)}^{b+N-z-1}$$
假设
$$a^{\prime }=a+z$$
$$b^{\prime }=b+N-z$$
我们发现这个贝叶斯估计服从
$$\left(a^{\prime },b^{\prime }\right)$$
分布，我们只要用B函数将它标准化就得到我们的后验概率：
$$P(\theta |data)=\frac{{\theta }^{a^{\prime }-1}(1-\theta {)}^{b^{\prime }-1}}{B\left(a^{\prime },b^{\prime }\right)}$$

狄利克雷分布

Dirichlet分布可以看做是分布之上的分布。
在伯努利分布里，参数μ就是抛硬币取某一面的概率，因为伯努利分布的状态空间只有{0,1}。但是在多项分布里，因为状态空间有K个取值，因此μ变成了向量。
多项分布的likelihood函数形式是:
$$\prod {\mu }_x^{m_i}$$
因此狄利克雷分布的函数形式如下：
$$p(\mu |\alpha )\propto \prod _{k=1}^K{\mu }_k^{{\alpha }_{k-1}}$$
$$\sum _k{\mu }_k=1,\alpha =\left({\alpha }_1,\dots ,{\alpha }_k\right)$$
是迪利特雷参数，把上式归一化为真正的迪利特雷分布为：
$$\mathrm{Dir}(\mu |\alpha )=\frac{\Gamma \left({\alpha }_0\right)}{\Gamma \left({\alpha }_1\right)\dots \Gamma \left({\alpha }_k\right)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1}$$
$$a_0=\sum _{k=1}^K{\alpha }_k$$
这个函数和贝塔分布有点像，跟多项式分布也有点像。就像β分布那样，狄利克雷分布就是它所对应的后验多项分布的参数μ的分布，只不过μ是一个向量。
举例：
假设我们有一个骰子，其有六面，分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验，得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次，如果用每一面出现的次数与试验总数的比值估计这个面出现的概率，则我们得到六面出现的概率，分别为{0.2,0.2,0.2,0.2,0.1,0.1}。现在，我们还不满足，我们想要做10000次试验，每次试验中我们都投掷骰子10000次。我们想知道，骰子六面出现概率为{0.2,0.2,0.2,0.2,0.1,0.1}的概率是多少（说不定下次试验统计得到的概率为{0.1, 0.1, 0.2, 0.2, 0.2, 0.2}这样了）。这样我们就在思考骰子六面出现概率分布这样的分布之上的分布。而这样一个分布就是Dirichlet分布。

高斯分布

其实就是正态分布，又叫高斯分布。
若随机变量X服从一个数学期望为μ、方差为σ2的正态分布，则其概率密度函数为：
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ=0，σ2=1时的正态分布是标准正态分布。

​