概率论与数理统计

一些概念

二项式系数

从一个大小为n的总体里选取r个元素，r个元素有r!种不同的排序方式，由此可得样本的个数是大小为r的子总体的r!倍，所以大小为r的子总体个数为：

$\left( \begin{array}{c} n \\ r \\ \end{array} \right)$ = $\frac{(n)_{r}}{r!}$ = $\frac{n(n-1)...(n-r+1)}{1*2*3...*(r-1)*r} = \frac{n!}{r!(n-r)!)}$
定义：一个包含n个元素的总体可以产生$\left( \begin{array}{c} n \\ r \\ \end{array} \right)$个不同的子总体。

概率论的基本概念

随机现象

在个别实验中结果呈不确定性，在大量重复实验其结果又具有统计规律性的现象，称之为随机现象

随机事件和样本空间

实验或观察的结果叫做事件。
事件分为复合（可分解）事件和简单（不可分解）事件
简单事件叫做样本点。
实验的每一个不可分解的结果可用一个且只能一个样本点来表示，所有这些样本点的全体称之为样本空间。

事件间的关系与事件的运算

A=0，表示A不包含任何样本点（即是不可能事件）
A’，样本空间中一切不属于事件A的点所构成的事件称为A的补事件。
AB，表示A和B同时发生，逻辑上的交集。
$A \cup B$，表示A或B发生，或两者同时发生，逻辑上的并集。
AB=0，表示A和B互斥。
$A \subset B$，B包含A。
BA’，表示B发生而A不发生。

基本定义和规则

对于任何两个事件$A_{1}$和$A_{2}$：

$P\{A_{1} \cup A_{2}\}=P\{A_{1}\} + P\{A_{2}\} - P\{A_{1}A_{2}\}$

如果$A_{1}A_{2}=0$，也就是说$A_{1},A_{2}$互斥，则$P\{A_{1} \cup >A_{2}\}=P\{A_{1}\} + P\{A_{2}\}$
对于任意$A_{1},A_{2},...$

P{$A_{1}\cup A_{2}\cup A_{3}\cup ...$} $\leq$ P{$A_{1}$}+P{$A_{2}$}+P{$A_{3}$}+…

古典概率

设一个实验有N个等可能的结果，而事件E恰包含其中的M个结果，则事件E的概率，记为P(E)，定义为：

P(E) = M/N

古典概率计算

1. 排列组合的几个简单公式

   1. n个相异物件取r个的不同排列总数，为

      $P^n_{r} = n(n-1)(n-2)...(n-r+1)$

   2. n个相异物件取r个的不同组合总数，为

      $C^n_{r} = P^n_{r}/r! = n!/(r!(n-r)!)$

      $C^n_{r}$的一个更通用的记号是$\left( \begin{array}{c} n \\ r \\ \end{array}\right)$。

   3. 与二项式展开的关系

      $(a+b)^n = \sum_{i=0}^{n}\left( \begin{array}{c} n \\ r \\ \end{array}\right) a^ib^{n-i}$(证明见百度百科)

   4. n个相异物件分成k堆，各堆物件数分别为$r_{1},r_{2}...,r_{k}$的分法是

      $n!/(r_{1}r_{2}...r_{k})$

概率计算公式

1. 若干个互斥事件之和的概率，等于各事件的概率之和。

   $P(A_{1}+A_{2}+...) = P(A_{1}) + P(A_{2}) + ...$

2. 以$\overline A$表示A的对立事件，则

   P($\overline A$) = 1- P(A)

3. 积和差

   A -B=A$\overline B$
   A(B-C) = AB -AC

条件概率

命H是一个具有正概率的事件，对于任何事件A：

P(A|H) = $\frac{{P(AH)}}{ P(H) }$
P(AH) = P(A|H)*P(H)
P(ABC) = P(A|BC) * P(B|C) * P(C)

先验概率与后验概率

先验概率

先验概率是指根据以往经验和分析得到的概率

先验概率的分类

1. 利用过去历史资料计算得到的先验概率，称为客观先验概率；
2. 当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。

后验概率

后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。

先验概率与后验概率的实质区别

先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料；
示例：
在“抛硬币”试验当中，硬币的均匀分布和抛的公正是先验条件或先验概率，但是抛100次正面却是条件概率，当贝努利试验次数不够大的时候，它不具有记忆功能，次数足够大的时候，具有记忆功能。这时，连续抛很多次正面就可以算作是先验概率。

随机独立性

抛硬币一次，结果为正面或者反面这两个事件是互斥的
抛一个硬币两次，第一次为正的概率和第二次为正的概率是独立的

两个事件互相独立（两两独立）

意思是A事件发生或者不发生对B事件的发生概率不影响(注意：只要不影响概率就行，影响样本空间没有问题)，定义式是P(AB)=P(A)P(B)，P(B|A)=P(B|$\overline A$)

互相独立

数学表述是P(ABC)=P(A)P(B)P(C)

两两独立 $\Leftarrow$相互独立

相互独立则两两独立，反之不可以。
两两独立，所以P（AB）=P（A）P（B）。所以只要说明P(ABC) != P(AB)P(C) 也就是AB同时发生和C不独立就可以了。

举个例子：

盒子里有四个球：

球1：红绿两色
球2：红蓝两色
球3：蓝绿两色
球4：无色

现在从里面取出一个球：事件a为球带红色的，事件b为球带蓝色，c为带绿色
那么每个事件的概率都是1/2，任意两个事件同时发生的概率是1/4(即取出对应两个颜色的那个球)，所以这三个事件两两独立，但是它们不可能同时发生，所以三个联合起来是不独立的 。

若一列事件$A_{1},A_{2}...$相互独立，则将其中一部分改为对立事件时，所得时间列仍为相互独立。

全概率公式与贝叶斯公式

全概率公式

设$B_{1},B_{2},...$ 为有限或无限个事件，它们两两互斥且每次实验中至少发生一个，即：
$B_{i}B_{j} = \emptyset$（不可能事件），当$i \neq j$
$B_{1}+B_{2}+... = \Omega$（必然事件）
必然事件发生的概率为1，但概率为1的事件不一定为必然事件。比如：[0,1]取到[0,1)上概率为1,但是不是必然事件,因为可能取到1.
现考虑任一事件A，有
$A = A\Omega = AB_{1}+AB_{2}+...$
$P(A) = P(AB_{1})+P(AB_{2})+...$
因为$P(AB_{i}) = P(B_{i})P(A|B_{i})$，带入得：
$P(A) = P(B_{1})P(A|B_{1})+ P(B_{2})P(A|B_{2}))+...$
这个公式称为‘全概率公式’。

贝叶斯公式

在全概率公式的假定下，有
$P(B|A) = P(AB)/P(A) = P(B)P(A|B)/\Sigma_{j}P(B_{j})P(A|B_{j})$
全概率公式为：由原因推结果
贝叶斯公式为：有结果推原因

乘积空间

两个集合A和B的组合乘积是一个集合，该集合由A，B中的远足的有序对(a,b)的全体所构成。
例如：扔3次硬币的理想实验，可以用含8个样本点的样本空间来描述。表示3个空间的组合乘积。

令A为$\mu$中由点$a_{1},a_{2},....$构成的事件，类似地B是$\beta$中由$\beta_{1},\beta_{1},...$构成的事件，则:
P{(A,B)} = $\Sigma\Sigma p_{x}q_{y}$ = $(\Sigma p_{x})(\Sigma q_{y})$ = P(A)P(B)

一维随机变量

概念

随机变量就是‘其值会随机会而定’的变量
确定性变量就是‘其值遵循某种严格的规律’的变量。
从绝对意义讲，许多通常视为确定性变量的量，本质上都有随机性，只是随机性干扰不大而已。
随机事件包含在随机变量之内。
随机事件是以静态的观点来研究随机现象，随机变量是一种动态的观点。
概率论能从一些孤立事件的概念发展成为一个更高的理论体系，其基础概念是随机变量。

分类

1. 离散型随机变量 只能取有限个值，或者无限个可以无疑漏排列出来的值。
2. 连续型随机变量 取值无穷多，并且无法逐一排列。
   连续型随机变量只是数学上的抽象。任何量都有一定单位，都是离散的。

离散型随机变量的重要概念

概率函数

定义1. 设X为离散型随机变量，其全部可能值为${a_{1},a_{2}...}$
,则
$p_{i} = P(X = a_{i}),i =1,2,...$
称为X的概率函数。
显然有
$p_{i} \geq 0, p_{1} + p_{2}+... = 1$
概率函数给出了全部概率1在其可能值之间的分布情况。

分布函数

定义2. 设X为一随机变量，则函数
$P(X \leq x)=F(x), - \infty < x < \infty$
称为X的分布函数，这里X的取值可以为连续型。
$F(x) = P(X \leq x) = \Sigma_{|i;a_{i} \leq x|}p_{i}$
$\{X \leq i\} = \{X \leq i -1\} + \{X=i\}$
因为右边两事件互斥，所以：
$F(x) = P(X \leq x) = P(X \leq x-1) + P(X = 1) = F(x-1) + P(X = 1)$
$p_{i} = F(i) - F(i-1)$
分布函数F(x)的一般性质：
1.单调非降
2. 当x -> $\infty$时，F(x)-> 1,当x -> -$\infty$时，F(x)-> 0

伯努利试验序列

在重复的独立试验中，如果每次试验仅有两个可能结果，而且其对应的概率在每次试验中都是相同的，则称这一串重复的独立试验时伯努利试验序列。

二项分布

另b(k;n,p)是具有成功概率为p，失败概率为q=1-p的n次伯努利试验中，有k次成功，n-k次失败的概率，则。
b(k;n,p) = $\left( %左括号 \begin{array}{c} %该矩阵一共3列，每一列都居中放置 n \\ %第一行元素 k \\ %第二行元素 \end{array} \right) p^kq^{n-k}$
未成功的概率是$q^n$，至少有一次成功的概率是1-$q^n$。
二项分布成立的2个重要条件：
1. 各实验的条件是稳定的
2. 各次实验室独立的
也就是要保证p的取值不变

中心项及尾项

当k由0变到n时，b(k;n,p)最初单调增加，而后单调下降，而且在k=m处达到它的最大值，但当m=(n+1)p时，b(m-1;n,p)=b(m;n,p)。我们称b(m;n,p)为中心项，m称为”成功的最大概然次数”。

波哇松分布

若随机变量X的可能取值为0,1,2…,且概率分布为
$P(X=i) = e^{-\lambda}\lambda^{i}/i!$
则称X服从波哇松分布，记为X ~ $P(\lambda)$，$\lambda > 0$，并且为一常数。

证明

设$\lambda$为事件出现的次数，则出现的概率$p=\frac{\lambda} {n}$，有
b(k;n,p) = $\left( \begin{array}{c} n \\ i \\ \end{array} \right) (\frac{\lambda} {n})^i(1-\frac{\lambda} {n})^{n-i}$
当n->$\infty$时，
$\left( \begin{array}{c} n \\ i \\ \end{array} \right) /n^i ->\frac{n(n-1)...(n-r+1)}{1*2*3...*(i-1)*r*n^i } -> \frac{n^i}{r!n^i} -> 1/i!$
$(1- \frac{\lambda}{n})^n -> e^{-\lambda}$(因为lim(1+1/x)^x = e)
所以，有
b(k;n,p) = $e^{-\lambda}\lambda^{i}/i!$
从推导可以看出，波哇松分布是求二项分布的极限而得到。
所以，博哇松分布的使用场景为：

当n很大，p很小，np=$\lambda$不太大时，X的分布接近于波哇松分布。
使用波哇松分布可以将很难计算的二项分布转化为博哇松分布计算。

大数定律

连续型随机变量的分布