概率论基础

概率论(probability theotry)是研究随机现象的数量规律的数学分支。

概率论公理化结构

历史背景：早期的经验定义，多数为古典概型，等可能性假设，事件结果有限性--------->  局限性：几何概率的计算，等可能性假设有循环定义之嫌，基本概念的明确定义；

提出：1933，前苏联数学家 科尔莫戈罗夫

样本点：随机试验的结果；抽象化概念，ω看作抽象的点，它们全体构成样本空间Ω.

设г是由集合Ω中一些子集所构成的 集合族(也叫做集类  )，且满足下述条件：

(1)Ω∈г；

(2)若A∈г，则A的 补集A c∈г；

(3)若An∈г(N=1,2,…)则∪An∈г；

我们称г是一个σ代数(σ域)。

由此定义，σ域对逆、并、交、差的可列次运算封闭，并且包含了Ω和Ø.

我们称r为事件域(event field)，r中的元素为事件，其中Ω为必然事件，Ø为不可能事件.

注：在这种定义下，样本点不一定是事件(考虑几何概型)

在样本空间Ω给定的情况下，总有些事件必须作为事件来处理，但是它们未必满足σ域的要求，怎么办？？

下证：若给定Ω的一个非空集类r，必定存在唯一的一个Ω上的σ域m(r),具有性质：1)包含r   2)若有其他σ域包含r,则必包含m(r).

这个m(r)称为包含r的最小σ域，也称由r产生的σ域.

注：(证明思路：一切子集构成的集合族显然包含r,取包含r的σ 域之交作为m(r)

由事件域的选取引入博雷尔点集：

【一维博雷尔点集】

我们记R1记数直线或实数全体，并称一切形如[a,b)的左闭右开区间构成的集类所产生的σ域为一维博雷尔σ域，记为β₁ 

若x,y为任意实数，由于

$$
\begin{eqnarray*}
\{x\}&=&\bigcap_{i=0}^{∞} [x,x+\frac{1}{n})\\(x,y)&=&[x,y)-\{x\}\\ [x,y]&=&[x,y)+\{y\}\\(x,y]&=&[x,y)+\{y\}-\{x\}
\end{eqnarray*}
$$

β₁中包含一切开区间，闭区间，单个实数，可列个实数，以及经他们可列次逆、并、交运算而得出的集合。 

【n维博雷尔点集】

概率的严格化定义：

定义在事件域上F的一个集合函数P称为概率，如果它满足一下三个要求：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　-

(i)   对一切A∈F，P(A)≥0;                                    ---------非负性

(ii)  P(Ω)=1;                                                           ---------规范性

(iii) 若A_i∈F,i=1,2…且两两互不相容，则\[P(\sum_{i=0} ^{\infty} A_{i}=\sum_{i=1}^{∞}P(A_{i}) \qquad\]---------可列可加性或完全可加性

性质1 不可能事件概率为0，即P(Ø)=0.

性质2 概率具有有限可加性. 

性质3 对任何事件A有$P(\bar{A})=1-P(A)$ 

性质4 如果${A}\supset{B},则P(A-B)=P(A)- P(B)$

性质5 $P({A}\cup{B})=P(A)+P(B)-P(AB).$

推论：

$(布尔不等式)    {P({A}\cup{B})}\leq{P(A)+P(B)}$

$(Bonferroni不等式){P(AB)}\geq{P(A)+P(B)-1}$

性质6 一般加法公式 ： 若$A_1,A_2,...,A_n$为n个事件，则

\[P({A_1}\cup{A_2}\cup{\dots}\cup{A_n})=\sum _{i=1,\dots,n}P(A_i)-\sum _{\substack{i<j\\i,j=1,...n}}P(A_iA_j)+\sum _{\substack{i<j<k\\i,j=1,\dots,n}}P(A_iA_jA_k)-...+(-1)^{n-1}P(A_1A_2...A_n)\]

高尔顿板

排列组合公式：

牛顿二项式

条件概率：

定义：设$(\Omega,\mathcal{F},P)$是一个概率空间，$B\in\mathcal{F}4,而且P(B)>0,则对任意$A\in\mathcal{F}$,记$P(A | B)=\frac{P(AB)}{P(B)}$

并称P(A | B)为事件B发生的条件下事件A发生的条件概率(conditional probability)

由以上公式得到${P(AB)}={P(B)P(A | B)} $    称为乘法公式或乘法定理   

性质：

(i)${P(A | B)}\geq{0};$

(ii)$P(\Omega |B)=1;$

(iii)$P(\sum_{i=1}^{\infty}{A_{i} | B}=\sum_{i=1}^{\infty}{P(A_{i} | B)}.$

[例](波利亚坛子模型)

全概率公式：

设事件A₁，A₂，...An,...是样本空间Ω的一个分割，亦称完备事件组，即A_i(i=1,2...n,...)两两不相容，而且

\[\sum_{i=1}^{\infty}{A_i}=Ω\]    这样一来，\[B=\sum_{i=1}^{\infty}{A_{i}B}\]           

\[\longrightarrow P(B)=\sum_{i=1}^{\infty}{P(A_{i})B}\]           ($A_{i}$B互不相容，概率完全可加性)

\[\longrightarrow P(B)=\sum_{i=1}^{\infty}{{P(A_i)}P(B |A_i)}  \]         (乘法公式)

贝叶斯公式(Bayes)：

定义：若事件A能且只能与两两互不相容的事件A_1，A_2，...，A_n，...之一同时发生，即

\[ B=\sum_{i=1}^{\infty}{BA_i}\]

由于

\[P(A_{i}B)=P(B)P(A_{i} | B)=P(A_i)P(B | A_i)\]

故\[P(A_{i} |B)=\frac{P(A_i)P(B|A_i)}{P(B)}\]

再利用全概率公式即得\[P(A_i |B)=\frac{P(A_i)P(B|A_i)}{\sum_{j=1}^{\infty}{P(A_i)P(B|A_j)}}\]

这个公式称为  贝叶斯公式

我们假定A₁，A₂，...是导致实验结果的“原因” P(A_i)称为先验概率,它反映了各种“原因”发生的可能性大小，

一般是以往经验的总结在这次试验前已经知道，现若产生了事件B，这个信息将有助于探讨事件发生的原因.

条件概率P(A_i | B)称为后验概率，它反映了试验之后都各种“原因”发生的可能性大小的新知识.

统计独立性：

事件独立性：

两个事件的独立性：对事件A及B，若\[P(AB)=P(A)P(B)\],则称它们是统计独立的，简称 独立的(independent).

三个事件的独立性：\[\left. {P(AB)=P(A)P(B) \\   P(BC)=P(B)P(C)  \\ P(AC)=P(A)P(C)\\} \right \}  (*) \\P(ABC)=P(A)P(B)P(C)\]

\[f(x)=\left\{ \begin{aligned} x & = & \cos(t) \\ y & = & \sin(t) \\ z & = & \frac xy \end{aligned} \right. \]

试验独立性:    

       ~随机变量  随机向量独立性   随机变量的函数的独立性

伯努利概型及 其中的分布：

1.伯努利分布：

2.二项分布：

3.几何分布：

4.帕斯卡分布：  (巴拿赫火柴盒问题)(分赌注问题)

推广：负二项分布

直线上的随机游动：

1.无限制：

2.有吸收壁：

伯努利试验推广与多项分布：

二项分布与泊松分布：

三   随机变量与分布函数：

分布函数  密度函数

离散型随机变量：

连续型随机变量：

正态分布：   标准正态分布

指数分布：

埃尔朗分布：

随机向量：

边际分布：

条件分布：

随机向量的函数的分布律推导公式(点击链接)：

https://wenku.baidu.com/view/23868639376baf1ffc4fad49.html

贝特朗奇论：

伽马函数相关(点击链接) 

Г函数(点击链接)

Г分布：

卡方分布：

常见分布的数学期望和方差：

1.离散型：

伯努利分布

二项分布的方差推导(点击查看链接)

泊松分布的期望和方差(链接)

几何分布： 

2.连续性场合：

正态分布：

指数分布：

柯西分布：

统一：：引进分布  用斯蒂尔切斯积分(Stieltjes)统一化

随机变量函数的数学期望

佚名统计数学家公式

数学期望的基本性质：

方差的基本性质：

切比雪夫不等式

协方差与相关系数：

柯西施瓦茨不等式：

矩：