概率论与数理统计1：基础知识

这是第三次学习概率论，第一次在大学，第二次是考研，这第三次是爱好。趁着这次学习，整理下笔记，方便后续的使用。

    概率论与数理统计是研究和揭示随机现象统计规律性的一门数学学科。通过研究随机试验来研究随机现象。

统计规律性：在大量重复试验或观察中所呈现出的固有规律性。

随机现象：在个别试验中其结果呈现出不确定性，在大量重复试验汇总其结果又具有统计规律性的现象。

具有以下三个特点都可以称为随机试验，记为E：

1）可以在相同的条件下重复地进行

2）每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果

3）进行一次试验之前不能确定哪一个结果会出现。

1、样本空间、随机事件、事件的运算

一个随机试验E的所有可能结果，称为E的样本空间，记为S。样本空间中的元素，即E中的每个结果，称为样本点。

例如：

• 试验E1：抛一枚硬币，观察正面H，反面T出现的情况。则S1：{H，T}。

• 试验E2：抛一枚硬币三次，观察正面H出现的次数。则S2：{0,1,2,3}

• 试验E3：在一批灯泡中任意抽取一只，测试它的寿命。则S3：{t|t>=0}

• E4：记录某地一昼夜的最高温度和最低温度。则S4：{(x,y)|T0≤x≤y≤T1}。x为最低温度，y为最高温度

    样本空间S的子集为E的随机事件，或简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。由一个样本点组成的单点集，称为基本事件。例如E1中有两个基本事件{H},{T}。

    样本空间中有两个特别的子集：

• 样本空间S包含所有的样本点，它是S自身的子集，在每次试验中总是发生，S就称为必然事件，

• 空集不含任何样本点，它作为样本空间的子集，在每次试验中都不发生，称为不可能事件

事件和样本空间的案例：

比如E3中，事件A“寿命小于1000小时”，可记为：A={t|0≤x<1000}

事件间的关系与时间的运算。

    事件是一个集合，因而事件间的关系与事件的运算，可以按照集合来处理。以下为各个处理的含义。

用图表示如下：

在进行事件运算时，经常用到以下定律：

2、概率

在相同条件下，进行了n次试验，在这n次试验中，事件A发生的次数m称为事件A发生的频数，比值m/n为事件A发生的频率，记为f（A）。

设E为随机试验，S是样本空间，对于E的每一事件A，赋予一个实数，记为P（A），称为A的概率，如果集合函数P（.）满足下列条件：

• 非负性：对于每一个事件A，有 P(A)≥0

• 规范性：对于必然事件S，有P(S)=1

• 可列可加性：设A1、A2...是两两互不相容的事件，即对于AiAj=Ø，有：P(A1∪A2∪...)=P(A1)+P(A2)+...

  
  

由概率的定义，可以推得概率的一些重要性质：

• P（Ø）=0

• 有限可加性：设A1、A2...An是两两互不相容的事件，即对于AiAj=Ø，有：P(A1∪A2∪...∪An)=P(A1)+P(A2)+...P(An)

• 设A、B两个事件，若A⊂B,则 P(B-A)= P(B)-P(A)，P(A)≤ P(B)

• 对任意事件A，P（A）≤ 1

• 对任意事件A，有P(B)=1-P(A)，其中B为A的对立事件。

• 加法公式：P(A∪B)=P(A)+P(B)-P(AB)

  
  

3、古典概率（等可能概型）

古典概率也称等可能概型，具有以下两个共同特点：

• 试验的样本空间只包含有限个元素

• 试验中的每个基本事件的可能性相同。

    设试验的样本空间为S={e1,e2,...en}，由于在试验中每个基本事件发生的可能性相同，即有P({e1})=P({e2})=....P({en})

由于基本事件是两两互不相容的，于是：

    P(S)=P({e1}∪{e2}∪...∪{en})=P({e1})+P({e2})+...+P({en})

    =nP({ei})=1

因此，P({ei})=1/n，i=1,2,3...

若事件A包含k个基本事件，即A={ei1}{ei2}∪...∪{ein}，这里，i1，...，ik是1,2，...，n中某k个不同的数，则有：

案例：将n只球随机地放入N（N>=n）个盒子中去，试求每个盒子至多有一只球的概率（设盒子的容量不限）

    解：将n只球放入N个盒子中去，因每个球都可以放入N个盒子中的任一个盒子中，故共有方法：

  

而每个盒子中至多放一球共有N*(N-1)...[N-(n-1)]中方法，因而概率为：

    

4、条件概率

    条件概率是概率论中一个重要而实用的概念，所考虑的是事件A已发生的条件下事件B发生的概率。

    在P(A)>0时，条件概率公式：

条件概率具有以下性质：

• 非负性：对于每一个事件B，有P(B|A)≥0

• 规范性：对于必然事件S，有P(S|A)=1

• 可列可加性：设B1，B2，...是两两互不相容的事件，则有：

  

  对于概率所证明的一些重要结果，都适用与条件概率，比如：

  对任意事件B1，B2，有：

 P(B1∪B2|A)=P(B1|A)+P(B2|A)-P(B1B2|A)

乘法定理：

设P(A)>0,则有：P（AB）=P(B|A)*P(A)

推广到多个事件的积情况，

例如：

1）设A、B、C为事件，且P（AB）>0，则有P（ABC）=P(C|AB)P(B|A)P(A)

        2）  一般，设A1，A2，...，An为n个事件，n≥2，且P（A1A2...An-1）>0,则有：

5、全概率公式和贝叶斯公式

1）全概率公式：

    设S为试验E的样本空间，B1,B2,...,Bn为E的一组时间，若：

    1）BiBj=Ø，i≠j，i，j=1,2,...n

    2）B1∪B2∪...∪Bn=S,则称B1、B2、...、Bn为样本空间S的一个划分。

    若B1、B2、...、Bn为样本空间的一个划分，那么，对每次试验，事件B1、B2、...、Bn中必有一个且仅有一个发生。

    比如：设试验E为“掷骰子观测其点数”。它的样本空间S={1,2,3,4,5,6}.E的一组事件，B1={1,2,3}，B2={4,5}，B3={6}是S的一个划分，而事件C1={1,2,3}，C2={3,4,}，C3={5,6}则不是S的划分。

    设试验E的样本空间为S，A为E的事件，B1、B2、...、Bn为S的一个划分，且P(Bi)>0(i=1,2...n)，则以下为全概率公式：

    P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)

在很多实际问题中，P(A)不易直接求得，却很容易找到S的一个划分B1、B2、...、Bn，且P(Bi)和P(A|Bi)或为已知，或容易求得，那么P(A)就可以求出。

可以证明，因为，A=AS=A(B1∪B2∪...∪Bn)=AB1∪AB2∪...∪ABn，由假设P(Bi)>0(i=1,2,...,n)，且(ABi)(ABj)=Ø,i≠j，i，j=1,2,...n得到：

P(A)=P(AB1)+P(AB2)+...P(ABn)

=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)

2）贝叶斯公式：

设试验E的样本空间为S，A为E的事件，B1、B2、...、Bn为S的一个划分，且P(A)>0，P(Bi)>0(i=1,2...n)，则：

6、独立性

设A、B是试验E的两个事件，若P(A)>0，可以定义P(B|A)。一般，A的发生对B的发生的概率是有影响的，这时，P(B|A)≠P(B)，只有在这种影响不存在时才会有P(B|A)=P(B)，这时有P(AB)=P(B|A)P(A)=P(A)P(B)

可以定义独立性：设A、B两个事件，如果满足等式：P(AB)=P(A)P(B)，则称事件A、B相互独立，简称A、B独立。相互独立的含义是，它们中一个事件发生了，不影响另外一个事件发生的概率。

有以下定理：

• 设A、B是两个事件，且P(A)>0，若A、B相互独立，则P(B|A)=P(B).

• 若事件A与B相互独立，则下列各对事件也相互独立。

  

    一般，设A1，A2，...，An是n（n>=2）个事件，如果对于其中任意2个，任意3个，...任意n个事件的积事件的概率，都等于各事件概率之积，则称事件A1，A2，...，An相互独立。