《概率论与数理统计》学习笔记（一）

前言

概率论式机器学习的重要前驱课程，很多高校夏令营面试都会对这门课程给予相当多的尊重，例如，哈工大2021年SCIR实验室夏令营笔试第一题就是考的极大似然估计（没做出来），所以对于概率论这门课程的复习应该尽早提上日程。

---

 

一、随机事件与概率

1.1 随机事件

1.1.1 随机现象与随机事件

随机试验：指对随机现象进行观察、研究的活动，简称试验。随机试验具有①可重复性②可观察性③随机性。

随机事件：指在随机试验中一切可能发生和不发生的结果，简称为事件。

基本事件：把随机试验的每一个可能结果称为基本事件。例如，投掷一枚硬币，“正面朝上”，“反面朝上”式基本事件。检查10件产品的次品数，“有1件次品”……“有10件次品”和“没有次品”是基本事件。

复合事件：由基本事件组成的事件。例如，在检查10件产品的次品数试验中，“次品数至少有2件”，“次品数不超过1件”是复合事件。

1.1.2 样本空间

一个随机试验将要出现的结果是不确定的，但其所有可能结果是明确的。我们把随机试验的每个可能的结果称为一个样本点，即基本事件，因而一个随机试验的所有样本点也是明确的。他们的全体称为样本空间，通常用S表示。

1.2 事件的关系运算

1.2.1 事件的包含

若事件A中的每一个样本点都属于事件B，则称事件B包含事件A，记为B﹚A。

1.2.2 事件相等

若A﹚B且B﹚A，则称事件A与B相等，记为A=B。

1.2.3 事件A与B之并（和）

A∪B表示事件A与B至少有一个发生。

1.2.4 事件A与B的差

A-B表示事件A发生而B不发生。

1.2.5 事件A与B的积

A∩B表示事件A与B同时发生。

1.2.6 互斥事件

试验中，若事件A与B不能同时发生，即A∩B = 空，则称A\B互斥。

1.2.7 对立事件

每次试验中，“事件A不发生”的事件称为事件A的对立事件或逆事件。

1.3 古典概率

设E是随机试验，若E的样本空间S满足：

（1）只有有限个基本事件

（2）每个基本事件发生的可能性相同，则称E为古典概型随机试验，事件A的概率定义为

P(A) = A所包含的基本事件数/基本事件总数 = m/n

1.4古典概率的性质与计算

事件的古典概率具有如下性质：

（1）对任一事件A，有0<=P(A)<=1

（2）P(S) = 1

（3）若A，B互不相容，则P(A∪B) = P(A)+P(B)

1.5 统计概率与几何概率 概率的公式化定义

1.5.1 统计概率

在不变的条件下，将试验E重复进行n次，事件A出现的次数记为nA，称比值fn(A) = nA / n 为事件A出现的概率。

由于在任意n次试验中，事件A发生的次数nA具有偶然性，故对任意固定的n，fn(A)是不确定的，但当n越来越大时，fn(A)就呈现出明显的规律性——频率的稳定性。

在一组固定条件下，重复做n次试验，如果当n增大时，事件A出现的频率fn(A)围绕某一个常数p摆动。而且一般来说，随着n的增大，摆动的幅度愈来愈小，则称常数p为事件A的概率，即P(A) = p，这样的概率称为统计概率，它适用于一切类型的试验。

事实上，可证明（贝努力大数定理）：如果对事件A有确定的古典概率p，且记mn（m下角标n）表示在n次独立重复试验中事件A发生的次数，则当n充分大时频率mn/n与p的差的绝对值几乎是很小的。

因此，可以说统计概率的定义是一个经过数学严格证明的概念。

1.5.2 几何概率

向区域S内投掷一个质点M，如果M必然落入S内，并且落入S内的任何部分区域A的可能性与A的测度(如长度，面积，体积等)成正比，则称这样的试验为几何型试验，质点M落入A内的概率为P(A) = L(A) / L(B)称其为几何概率。L(A)与L(S)为A与S的测度。

1.6 条件概率 乘法定理

1.6.1 条件概率

给定概率空间（S,P），A,B其上的两个事件，且P(A)>0，则称P(B|A) = P(AB)/P(A)为已知事件A发生的条件下，事件B发生的条件概率。随着B在事件域中变化，P(B|A)便称为事件域上的函数，称之为在已知A发生的条件下的概率条件。

1.6.2 乘法定理

由条件概率定义P(B|A)=P(AB)/P(A)立即导出下列公式，P(AB)=P(A)P(B|A)，P(A)>0；对称地，如果P(B)>0，由P(A|B)= P(AB)/P(B)，可得P(AB) = P(B)P(A|B)。

1.7 全概率公式与贝叶斯公式

1.7.1 全概率公式

全概率公式：假设B1,B2……Bk是两两互不相容的事件组，且对应事件的概率为P(B1)，P(B2),……P(Bk)。设事件A仅可能伴随事件组B1,B2,……Bk，之一发生，PB1(A),PB2(A),……PBk(A)分别表示当B1,B2,……Bk发生时事件A的条件概率，则有

P(A) = P(B1)P(A|B1)+P(B2)P(A|B2)……+P(Bk)P(A|Bk)

1.7.2贝叶斯公式

贝叶斯公式：设B1,B2……Bk是两两互不相容的事件组，且事件A仅可能伴随事件组B1,B2,……Bk之一发生，已知B1,B2,……Bk的概率分别为P(B1)，P(B2),……P(Bk)，而在Bi发生的条件下，事件A发生的概率为PBi(A)，i=1，2，……k。同时已知事件A发生，则在事件A发生的条件下事件Bi发生的概率为

PA(Bi) = P(Bi)P(A|Bi)/P(B1)P(A|B1)+P(B2)P(A|B2)+……P(Bk)P(A|Bk)，i=1，2，……k

1.8独立试验序列

1.8.1 事件的独立性

设（S,P）是一个概率空间，A,B是其上的两个事件，如果P(AB)=P(A)P(B)则称A与B相互独立，简称A与B独立。

设A,B,C是三个事件，如果P(AB)=P(A)P(B),P(AC)=P(A)P(C),P(BC)=P(B)P(C),则称A,B,C两两相互独立。

若A1,A2,……An是n个事件，如果对任意数k，任意1<=i1<i2<……<ik<=n，满足等式P(Ai1，Ai2,……Aik) = P(Ai1) P(Ai2) ……P(Aik) ，则称A1,A2,……An是相互独立的。

1.8.2 独立试验序列

若一个试验只有A与非A两个结果，则称这个试验为贝努力试验，它的n次重复独立试验，称为n重贝努力试验。