概率论与数理统计

概率论与数理统计

正态分布（高斯分布）

• 概率密度函数为：$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$
• 随机变量X服从正态分布记为：$X\sim N(\mu ,{\sigma }^2)$
• 随机变量X服从标准正态分布记为：$X\sim N(0,1)$
• 随机变量$X\sim N(\mu ,{\sigma }^2)$，则$\frac{X-\mu }{\sigma }\sim N(0,1)$
• 设$X\sim N(\mu ,{\sigma }^2)$，则当$Y=kX+b,k\ne 0$时，$Y\sim N(k\mu +b,k^2{\sigma }^2)$
• 设$X\sim N({\mu }_1,{\sigma }_1^2)$，$Y\sim N({\mu }_2,{\sigma }_2^2)$，且X与Y相互独立，则$X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

全概率公式与贝叶斯公式

基本概念

• 样本空间：随机试验的一切可能结果组成的集合称为样本空间，记为 Ω = { w } \Omega=\lbrace w \rbrace Ω={w}，其中$w$表示试验的每一个可能的结果，称为样本点，样本空间为全部样本点的集合。
• 随机事件：在一次试验中可能出现，也可能不出现的一类结果称为随机事件。从集合角度看，随机事件是样本空间的部分样本点组成的集合，即随机事件是样本空间的一个子集。只含有一个样本点的随机事件称为基本事件。包含所有样本点的随机事件（此时也是样本空间）称为必然事件。不包含任何样本点的随机事件称为不可能事件。
• 概率：
  古典概率：随机试验中 ，样本空间只有有限个样本点，样本空间的样本点个数记为$n$，每个样本点发生的可能性相等，若随机事件A中含有$n_A$个样本点，则事件A的概率为：$P(A)=n_A/n$
  几何概率：随机试验中，样本空间$\Omega$是某个区域（不要求含有有限个样本点），每个样本点发生的可能性相等，则随机事件A的概率为：$P(A)=m(A)/m(\Omega )$，其中$m(\cdot )$在一维情形下表示长度，在二维情形下表示面积，在三维情形下表示体积。
• 条件概率：条件概率是指在某随机事件B发生的条件下，另一随机事件A发生的概率，记为$P(A|B)$。
• 联合概率：联合概率是指随机事件A和随机事件B同时发生的概率，记为$P(A,B)$或者$P(AB)$。显然$P(AB)=P(BA)$。
• 先验概率：若随机事件A的发生不涉及之前的任何信息，那么称随机事件A为独立事件，则独立事件A的概率称为先验概率，记为$P(A)$。
• 后验概率：由条件概率的定义可知，它是某个相关随机事件B已知的条件下另一随机事件A的概率，因此条件概率也称为后验概率，记为$P(A|B)$。后验概率、先验概率和联合概率有如下关系式：$$P(A|B)=\frac{P(AB)}{P(B)}$$
• 独立事件：如果随机事件A和随机事件B相互独立，则有如下关系式成立：$$P(AB)=P(A)P(B)$$ $$P(A|B)=P(A)$$ $$P(B|A)=P(B)$$
• 完备事件组：在随机试验中，$A_1,A_2,\dots ,A_n$为样本空间$\Omega$的一个随机事件组，事件组包含了样本空间$\Omega$的所有样本点，且事件组中各个事件间不包含相同的样本点则称这个事件组为该样本空间的完备事件组。以上两个条件用数学语言描述如下：$$\{\begin{array}{l}{A}_i\cap A_j=\text{Ø}(i\ne j)\\ A_1\cup A_2\cup \cdots \cup A_n=\Omega \end{array}$$

全概率公式

设$A_1,A_2,\dots ,A_n$为样本空间$\Omega$的一个完备事件组，且$P(A_i)>0(i=1,2,3,\dots ,n)$，B为任一随机事件，则$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

贝叶斯公式

设$A_1,A_2,\dots ,A_n$为样本空间$\Omega$的一个完备事件组，且$P(A_i)>0(i=1,2,3,\dots ,n)$，B为满足条件的任一随机事件，$P(B)>0$，则$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(B)}$$

全概率和贝叶斯应用举例

有三个箱子，第一个箱子中有四个黑球和一个白球，第二个箱子中有有三个黑球和三个白球，第三个箱子中有三个黑球和五个白球。现随机选一个箱子，再从这个箱子中随机取一球，已知取到的是白球，则这个白球是属于第二个箱子的概率是多少？

解：以$A_i$表示选择的第$i$个箱子，则$A_1,A_2,A_3$构成了该样本空间的完备事件组，另外，以取得白球定义为随机事件B。

先验概率为：$$P(A_1)=P(A_2)=P(A_3)=\frac{1}{3}$$后验概率为：$$P(B|A_1)=\frac{1}{5},P(B|A_2)=\frac{1}{2},P(B|A_2)=\frac{5}{8}$$由全概率公式得：$$P(B)=\sum _{i=1}^{3}P(A_i)P(B|A_i)=\frac{1}{3}(\frac{1}{5}+\frac{1}{2}+\frac{5}{8})=\frac{53}{120}$$由贝叶斯公式得：$$P(A_2|B)=\frac{P(A_2)P(B|A_2)}{P(B)}=\frac{20}{53}$$