概率论与数理统计——Chapter1概率

概率的定义

什么是概率？
简单而直观的说法：概率是随机事件发生的可能性大小
在概率论发展的历史上，曾有过概率的频率定义、主观定义、古典定义、几何定义。这些定义适合不同场合下的随机现象。

从两大学派谈起

频率派

在大量重复试验中，用频率的稳定值去获取概率↔样本信息
基本思路：
①与考察事件A有关的试验可以大量重复进行；
②在n次重复试验中，即n(A)为事件A出现的次数，又称n(A)为事件A的频数，称$f_n(A)$=n(A)/n为事件A出现的频率。
人们的长期实践表明，随着试验重复次数n的增加，频率$f_n(A)$会稳定在某一个常数a附近，我们称这个常数为频率的稳定值。这个频率的稳定值就是我们所求的概率。
优缺点： 该方法合理，但是人们无法将一个试验无限次的重复下去，因此要精确获得频率的稳定性是困难的。但在试验重复次数n较大时，可给用频率给出概率的一个近似值。在统计学中就是如此做的，且称频率为概率的估计值。

现实世界里，一些随机现象是不能重复或不能大量重复，这时概率该如何确定？

贝叶斯派

一个事件的概率是人们根据经验对事件发生的可能性给出个人的信念，这样给出的概率称为主观概率。↔先验信息
例如医生根据自身多年的临床经验和患者的病情，认为手术的成功率95%。
注意：
①主观概率和主观臆想本质上是有区别的，前者要求当事人对所考察的事件有透彻的了解和丰富的经验，并能对历史信息和当前信息进行仔细分析，如此确定的主观概率是可信的；
②主观概率的确定，除了根据自己的经验，决策者还可以利用他人的经验

等可能说

认为基本事件的发生没有任何偏好，都是等可能的。↔无信息

等可能原理的拓广：

古典方法

基本思想：
①所涉及的随机现象只有有限个样本点
②每个样本点发生的可能性相等（称为等可能性），即基本事件的发生是等可能的。如：抛硬币，正反面朝上的可能性相同
③若事件A含有k个样本点，则事件A的概率为P(A)=事件A所含的样本点个数/Ω中所含的样本点的个数=k/n
古典方法是概率论发展初期确定概率的常用方法，故所得概率又称为古典概率
可见 求古典概率的关键是n，k的计算
主要工具：加法原理，乘法原理，排列组合公式
计数原理与排列组合
常见模型：抽样问题（有放回，没有放回），分配问题

几何方法

基本思想：
①如果一个随机现象的样本空间Ω充满某个区域，其度量（长度、面积或体积等）大小用$S_{\Omega }$表示
②任意一点落在度量相同的子区域内（可能位置不同）是等可能的，如：Ω中有两个不同的单位正方形，点落在这两个区域是等可能的，因为面积一样。
③若事件A为Ω的某个子区域，且度量大小可用$S_A$表示，则事件A的概率为P(A)=$S_A/S_{\Omega }$，这个概率称为几何概率。

那么如何给出适合一切随机现象的概率的最一般定义。

公理化概率论的出现

1900年数学家希尔伯特提出要建立概率的公理化定义来解决这个问题，即以最少的几条本质特性出发去刻画概率的概念。
1933年苏联数学家，柯尔莫哥洛夫首次提出了概率的公理化定义，这个定义既概括了历史上几种概率定义中的共同特性，又避免了各自的局限性和含混之处，不管什么随机现象，只有满足该定义中的三条公理，才能说明它是概率。

概率论的公理化定义

设Ω是一个样本空间，F为Ω的某些子集组成的一个事件域（直观上讲就是Ω中某些子集及其运算结果而组成的集合类），如果对任一事件A∈F，定义在F上的一个 实值函数P(A) 满足：
①非负性：若A∈F，则P(A)≥0；
②规范性：P(Ω)=1；
③可列可加性：若$A_1,A_2,...,A_n$,…互不相容，则

称P(A)为事件A的概率。
公理化定义刻画了概率的本质，概率是集合（事件）的函数，若在事件域F上给出一个函数，当这个函数满足上述三条公理，就被称为概率，当不满足其中任一条则认为不是概率。
公理化定义并没有告诉人们如何去确定概率 。在公理化定义出现之前，概率的频率定义、主观定义、古典定义、几何定义都在一定场合下，有着各自确定概率的方法，在有了概率的公理化定义后，把它们看作概率的方法是恰当的：

①频率方法： 非负性和规范性是显然的，当A,B互不相容时，A∪B的频数n(A∪B)=n(A)+n(B)，则频率
用频率表示概率。

②古典概率： 非负性和规范性是显然的，而可加性与频率类似，当A,B互不相容时，A∪B的样本点个数=A的样本点个数+B的样本点个数

③几何概率： 满足公理化定义，（度量可加）类似证明。
④主观概率： 即主观给定的概率，要符合公理化定义。

概率的性质

利用概率的公理化定义，可以导出概率的一系列性质，以下为常用性质。

$P(\varnothing )=0$

证明提示：

可加性

概率的可列可加性说明了对可列个互不相容的事件$A_1,...,A_n,...$，其可列并的概率可以分别求再相加，即
那么对于有限个互不相容的事件$A_1,...,A_n$，其有限并的概率具有类似结论，即，该性质称为概率的有限可加性，简称可加性。
证明提示：

对立事件概率

对任何事件A，有
$P(\overline{A})=1-P(A)$
$Proof:\Omega =A\cup \overline{A},且A，\overline{A}互不相容，则由规范性，可加性得P(\Omega )=P(A+\overline{A})=P(A)+P(\overline{A})=1$，则 $P(\overline{A})=1-P(A)$

单调性

若事件A⊂B，则$P(A)\le P(B)$

任一事件A，$P(A)\le 1$，因为∅⊂A⊂Ω，$P(A)\le P(\Omega )=1$

加法公式

对任意两个事件A,B，有$P(A\cup B)=P(A)+P(B)-P(A\cap B)$

推广：对任意n个事件$A_1,...,A_n$，有

条件概率

条件概率的定义

设A与B是样本空间Ω的两事件，若P(B)>0,则称P(A|B)=P(AB)/P(B)为“在B发生条件下A发生的条件概率”，简称条件概率。
计算条件概率P(A|B)是在样本空间Ω缩小为${\Omega }_B$下进行的

条件概率的性质

条件概率P(A|B)是在给定B下讨论A的概率，但概率的相关性质仍然成立。如：
$P(\overline{A}|B)=1-P(A|B)$
$P(A_1\cup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1{A}_2|B)$

易证条件概率满足概率的公理化定义，是概率。

乘法公式

①若$P(B)>0，则P(AB)=P(B)P(A|B)$
②若$P(A_1...A_{n-1})>0,则P(A_1{A}_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)...P(A_n|A_1...A_{n-1})$

全概率公式

设$B_1,...,B_n$是样本空间Ω的一个分割（完备事件组），即$B_1,...,B_n$互不相容，且$B_1\cup ...\cup B_n=\Omega$，如果 $P(B_i)>0,i=1,...,n,$ 则对任意事件A有

注意：
①全概率公式最简单形式：如果$0<P(B)<1$，则
$P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B})$
②将条件$B_1,...,B_n$是样本空间Ω的一个分割改为$B_1,...,B_n$互不相容，且$A\subset B_1\cup ...\cup B_n$，全概率公式仍然成立
③对可列个事件$B_1,...,B_n,...$互不相容，且$A\subset B_1\cup ...\cup B_n\cup ...$，则全概率公式仍然成立。

贝叶斯公式

由乘法公式和全概率公式可推得贝叶斯公式
设$B_1,...,B_n$是样本空间Ω的一个分割（完备事件组），即$B_1,...,B_n$互不相容，且$B_1\cup ...\cup B_n=\Omega$，如果 $P(A)>0,P(B_i)>0,i=1,...,n,$ ,则

贝叶斯公式中，如果称$P(B_i)$为先验概率，则称$P(B_i|A)$ 为后验概率，贝叶斯公式是专门用来计算后验概率的，也就是通过A的发生这个信息来对$B_i$的概率作出修正。

注意每个公式能使用的前提条件

独立性

独立性是概率论中又一重要概念，利用独立性可以简化概率的计算。

两个事件的独立性

两个事件间的独立性是指：一个事件的发生不影响另一事件的发生。
如果$P(AB)=P(A)P(B)$，则称事件A,B相互独立，简称A与B独立。
在许多实际问题中，两个事件相互独立大多是根据经验来判断相互是否有影响。

性质

$若事件A,B相互独立，则A与\overline{B}独立，\overline{A}与B$独立，$\overline{A}与\overline{B}独立$

多个事件的独立性

对$A_1,A_2,..,A_n，若其中任意k（2\le k\le n）个满足P(A_{i_1}{A}_{i_2}...A_{i_k})=P(A_{i_1})P(A_{i_2})...P(A_{i_k}),其中1\le i_1<...<i_k\le n，则称A_1,...,A_n相互独立$。
n个相互独立的事件中任意一部分内部仍是相互独立的，而且任意一部分与另一部分也是相互独立的。
性质：若 $A_1,A_2,..,A_n$相互独立，则$B_1,...,B_n$也是相互独立，其中$B_i表示A_i或\overline{A_i}$

试验的独立性

利用事件的独立性可以定义两个或多个试验的独立性。
设有两个试验$E_1,E_2$，假如试验$E_1的任一结果与试验E_2$的任一结果都是相互独立的事件，则称这两个试验是相互独立。
n个试验$E_1,...,E_n$的相互独立性：如果$E_1的任一结果、...、E_n$的任一结果都是相互独立的，则称试验$E_1,...,E_n$相互独立，如果这n个独立试验还是相同的，则称其为n重独立重复试验 。如果在n重独立重复试验中，每次试验的可能结果为两个：$\overline{A}或A$,则称这种试验为n重伯努利试验。

区别事件的独立性与互不相容

若$P(A)>0,P(B)>0$ ，如果A,B相互独立，则A,B相容；如果A,B互不相容，则A,B不独立。
例如：
①掷一颗骰子，出现的点数为奇数A与为偶数B不相容,AB=∅，P(AB)=0，即A,B不能同时发生，则A的发生对P(B)有影响，反之也是，$P(B)=1/2\ne P(B|A)=P(AB)/P(A)=0，A,B$不独立。
②分别两颗掷骰子，它们出现的点数互不影响，但相容，A=“1号骰子出现点数为奇数”，B=“2号骰子出现点数为偶数”， A,B相互独立，但AB≠∅，即AB相容，即一个样本空间，事件A与B有相同的样本点，可以同时发生。但注意A,B相容不代表A,B相互独立。