概率相关

本文整理了一下最近需要用到的概率方面的知识(ps:没想到当年学的正态分布会有这么广泛的应用)。

联合概率

联合概率记作p(x=a, y=b)也简写为p(a,b)，表示当x=a和y=b同时发生的概率，注意是同时发生。

边缘概率

边缘概率记作p(x=a)即x=a时发生的概率

条件概率

条件概率记作p(a|b)即在b的条件下a发生的概率
联合概率、边缘概率、条件概率三者的关系如公式1所示。
$$p(x=a,y=b)=p(x=a|y=b)p(y=b)\text{\hspace{1em}(1)}$$
联合概率和边缘概率的关系如公式2所示。
$$p(x=a)=\sum _{b}p(x=a,y=b)\text{\hspace{1em}(2)}$$

全概率公式

全概率公式其实就是公式2，见公式3.
$$p(x=a)=\sum _{b}p(x=a,y=b)=\sum _{b}p(x=a|y=b)p(y=b)\text{\hspace{1em}(3)}$$

贝叶斯公式

贝叶斯公式见公式4.
$$p(x=a|y=b)=\frac{p(y=b|x=a)p(x=a)}{p(y=b)}=\frac{p(y=b|x=a)p(x=a)}{{\sum }_{a}p(y=b|x=a)p(x=a)}\text{\hspace{1em}(4)}$$

正态分布

正态分布公式如式5.
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\text{\hspace{1em}(5)}$$

大数定理

我对于大数定理的理解就是，当n趋向于正无穷时，期望会趋向于固定值，会失去随机性，比如把一枚硬币抛n次，当n很大时。
证明如下：
假设当前样本是独立同分布的，样本有X1、X2、…、Xn，平均值为E(X1),E(X2),…,E(Xn)，方差为V(X1),V(X2),…,V(Xn)。因为是独立同分布的，所以有E(X1)=E(X2)=…=E(Xn)=E(X)，V(X1)=V(X2)=…=V(Xn)=V(X)，因此数据的均值为:nE(X)/n=E(X)，方差为:nV(X)/n^2=V(X)/n。当n趋向于正无穷时，方差V(X)/n趋向于0，失去随机性，为固定值。

中心极限定理

中心极限定理即样本的均值等于总体的均值，不管总体是怎么分布的，任何一个总体的样本的平均值就在总体的平均值周围，并符合正态分布。