数学/概率论 {试验,样本空间,事件,古典概率,条件概率,全概率公式,贝叶斯公式,独立性}

{数学/概率论 {试验,样本空间,事件,古典概率,条件概率,全概率公式,贝叶斯公式,独立性}, @MAKR_3}

{试验,样本空间,样本点}

定义

试验, 必须满足3个条件:
1 可在相同条件下 重复多次的进行; (即2个试验 是毫无关系的, 比如多次抛硬币 他们之间没有关联);
2 在试验开始之前 就可以知道所有的可能结果; (比如抛硬币, 结果一定是0/1);
3 试验开始之前, 他的结果是未知的;

–

样本空间: 一个随机试验的所有可能结果 所组成的集合;

–

样本点: 样本空间中的元素 (即每一个可能的结果);

{事件,事件发生,基本事件}

定义

事件: 样本空间的子集;

事件发生: 对于事件A, 做一次试验 得到结果$x$, 如果$x\in A$ 则称本次试验发生了事件A;

基本事件: 由一个样本点组成的集合;
. 比如, 筛骰子有6个基本事件;

必然事件: 样本空间作为一个随机事件, 他是必然发生的;

不可能事件: 空集$\varnothing$作为一个随机事件, 他一定不会发生;

–

事件的运算

由于事件就是集合, 所以事件的运算 也就是集合的运算;

$A\subset B$: 若A发生, 则B一定发生;

$A-B$: 这是个事件, 表示若A发生 且B不发生时 此时一定有$A-B$发生;

对立事件: 对于事件A, 他的对立事件为$S-A$ (S为样本空间), 也可记作$\overline{A}$;
. 对于任意试验, $[A,\overline{A}]$ 一定有一个发生 另一个不发生;

若$A\cap B=\varnothing$, 则称$AB$是不相容/互斥的; 即这2个事件 不可能同时发生;
. 任意两个不同的基本事件, 一定是不相容的;

错误汇总

设试验为: 依次掷硬币2次, 记录结果;
. 基本事件不是 { 0 , 1 } \{0,1\} {0,1}, 而是 { 00 / 01 / 10 / 11 } \{00/ 01/ 10/ 11\} {00/01/10/11};
. 因此, 样本空间$\Omega$是 { 00 , 01 , 10 , 11 } \{00, 01, 10, 11\} {00,01,10,11};
. 那么, 事件 即为样本空间的子集;
. 一定要首先确立样本空间, 因为*{基本事件,事件}* 都是根据样本空间来定义的;

@DELIMITER

性质

@DELIMITER

去认识$\cup ,\cap ,-$这些集合操作的转换时, 最简单的方式是: 从文氏图的角度;

@DELIMITER

若$A1,A2,...An$为两两不相容事件 (即$Ai\cap Aj=\varnothing$), 则$P(A1\cup A2\cup ...)=P(A1)+P(A2)+...$ (P为概率);

@DELIMITER

若$A\subset B$, 则$P(B)=P(A)+P(B-A)$;

@DELIMITER

$A\cup B=A\cup (B-A\cap B)$;

最简单的理解是从文氏图的角度, 即把A U B分成2个独立的部分 [A, B - AB];

@DELIMITER

对任意两个事件$AB$, $P(A)+P(B)=P(A\cup B)+P(A\cap B)$;

{频率,概率,古典概率}

定义

进行N次独立试验, 事件A发生了K次, 则称事件A发生的频数为K, 频率为$K/N$;

–

令S为样本空间, 每个事件A 对应一个实数 记作$P(A)$ 称为事件A的概率, 表示: 做一次试验, 发生该事件的概率;
. 当试验次数$N\to \infty$, 事件的频率 等于 其概率;

–

若试验满足: [样本空间的元素个数为有限个, 每个基本事件的概率相同], 这种试验 称为等可能概率/ 古典概率;

若样本空间大小为N, 则任一基本事件的概率为$1/N$;

性质

令事件A = { e 1 , e 2 , e 3 } \{e_1, e_2, e_3 \} {e1​,e2​,e3​} ($e_i$为基本事件), 则$P(A)=P(e_1)+P(e_2)+P(e_3)$;
. 其实, 不必要非得把他拆分成基本事件, 只要拆分成 互斥事件即可; (多从文氏图@MARK_1的角度思考);
. . 比如, 令 B = { e 1 , e 2 } B=\{e1, e_2\} B={e1,e2​}, 则$P(A)=P(B)+P(e_3)$;

@DELIMITER

一定要搞清楚{试验, 样本空间, 事件, 事件发生, 概率}这些概念 再将他们联系到文氏图里, 这些是概率论的基础 非常重要, 否则根本无法理解后续的知识; @MARK_1

举个例子:
试验: 连续掷骰子2次, 记录这2次的结果;
样本空间: {11, 12, ..., 66} (共36个基本事件);
事件A: {11, 22, 33, 44, 55, 66};
事件A发生: 做一次试验 得到结果$x$, 如果$x\in A$, 则称: 本次试验发生了事件A;
概率$P(A)$: 做一次试验 有$P(A)$的概率 会发生事件A;
. 一定要深度理解这里$P(A)$的含义, 是做一次试验;

此时引入文氏图的概念, 他对于概率论的计算 以及形象化理解, 至关重要;
文氏图: 一个板子;
试验: 在这块板子上 仍一个小球 (不会出界, 且停在这块板子上的任一点的概率都相同);
样本空间: 假如样本空间有$c$个基本事件, 且每个基本事件的概率为$p_i$, 设这块板子的面子为$A$, 则将这块板子划分为$c$个独立区域, 每块区域的面积 根据其对应的事件 为$p_i\ast A$;
事件B: 从这块板子的$c$个独立区域里, 选择若干个区域 记作$A_b$;
事件B发生: 做一次试验 即在板子上扔出小球, 如果小球停在$A_b$区域里, 则称事件B发生;
$P(B)$: 做一次试验 即在板子上扔出小球, 小球停在$A_b$区域里的概率;
. 因此, 涉及到做一次试验, 事件的交集和并集的概率运算问题, 他就是文氏图里 区域面积的相加减而已, 绝对不会涉及到乘法; (条件概率虽然涉及乘法, 但他的那块板子 不是这里的样本空间, 而是这块板子的子板) ;

@DELIMITER

错误

@DELIMITER

$P(AB)$的意思是: 令$S=A\cap B$ (当然S也是个事件), 做一次试验 S发生的概率 就等于$P(AB)$; @MARK_0;

$P(AB)=P(A)\ast P(B)$是错误的;
. 分析下他为什么错误, 很简单, 如果$A\cap B=\varnothing$, 自然$P(AB)=0$, 但是你的这个结果不是$0$;

还是文氏图的角度最容易分析, $P(A)$即A区域的面积, 你要求的是$A\cap B$的交集区域的面积, 自然是A区域里 去除掉 不属于B区域之后 的区域面积, 可是这块要从A区域里去除掉的区域面积 是多少呢?
. 这要联系@MARK_2的条件概率; $P(AB)$要理解为: 先在整块板子里 把小球扔到A区域里的概率 即$P(A)$, 再在A区域对应的板子里 把小球扔到$A\cap B$区域里的概率 即$P(B|A)$;
. . 这两个事件, 是有前后关系的, 即在完成第一件事件的前提下 才能完成第二件事件, 所以他们不是相加关系, 而是相乘; 即$P(AB)=P(A)\ast P(B|A)$;

{条件概率,联合概率,边缘概率,乘法公式}

定义

条件概率

$A,B$为2个事件, 且$P(A)>0$, 求在$A$事件已经发生的前提之下, B事件发生的概率; 记作$P(B|A)$;
. $P(B|A)=\frac{P(AB)}{P(A)}$;

条件概率也称为后验概率;

@DELIMITER

联合概率: $P(AB)$, 即AB同时发生的概率;

边缘概率: $P(A)$, 通过全概率求得;

@DELIMITER

乘法公式;

$P(AB)=P(A)\ast P(B|A)$;
$P(ABC)=P(A)\ast P(B|A)\ast P(C|AB)$;

性质

从这个角度 去理解$P(B|A)$, 即在在${\Omega }_a$这个板子上扔小球 落在$ab$区域的概率;
. 这就一目了然了, $A$这个板子的面积是$P(A)$, $AB$这个板子的面积是$P(AB)$, 所以, $P(B|A)=\frac{P(AB)}{P(A)}$;

如果只是从集合的角度看, $P(B|A)$这个集合 和 $P(AB)$集合 确实是一样的 (所谓一样, 是指他们包含的元素 是相同的);
. 但是, 他们在文氏图里的面积是不同的;
. $P(AB)$的面积: 即在$\Omega$这个板子上 的区域面积;
. 但是$P(B|A)$的面积: 首先, 你需要搞懂, 他可不是说 在${\Omega }_a$这个板子上 $ab$的面积 (这个面积 是$P(AB)$的);
. . 虽然他的含义是: 在${\Omega }_a$这个板子上扔小球 落在$ab$区域的概率; 但如果要变成面积, 你需要将${\Omega }_a$这个板子 等比例放大 使得他的面积变成1; 这样, 在这个新的$a$的板子(面积为1)中, $ab$区域的面积 就等于 $P(B|A)$;

@DELIMITER

$P(C|B|A)=P(C|(AB))$;

即在$A,B$都已经发生的前提下;

@DELIMITER

概率的问题, 都要转移到文氏图的角度; @MARK_2;
对于条件概率, 他很特殊, 你需要将板子做裁剪操作后 再做试验;
. $P(B|A)$, $\Omega$为最初的板子 (即样本空间对应的大板子, 面积为$1$), ${\Omega }_a$为事件A对应的板子 (即把$\Omega$里 不属于事件A区域的板子 都裁减掉) 然后等比例 放大到 使得这块板子的面积 也为$1$ (所谓等比例, 即事件A里 各个基本事件的占有比例 是不变的; 比如裁剪后 这块板子面积是$0.5$ 里面有2个基本事件 面积为$0.2,0.3$, 现在将这个板子放大到$1$, 2个基本事件的面积为$0.4,0.6$);
. . ${\Omega }_{ab}$为 在${\Omega }_a$这块板子里 属于事件B的区域; 此时, 在这${\Omega }_a$这块板子上 做一次试验 (即扔一个小球) 落在${\Omega }_{ab}$区域的概率 (即${\Omega }_{ab}$区域的面积), 即为$P(B|A)$;

@DELIMITER

$P(ABC)=P(A)\ast P(B|A)\ast P(C|AB)$;

这个公式挺难的;
先看个简单的: $P(ABC)=P(A)\ast P(BC|A)$; 这容易理解;
关键是求$P(BC|A)$, 在A已经发生的前提下 BC发生的概率;
. 很容易写成: $P(BC|A)=P(AB)\ast P(C|AB)$; 这是错误的; 你肯定是想把$BC$ 给拆分开来, 比如要把B单独提出来, 那么B要发生, 你能写成: AB同时发生吗?
. . 非常容易犯这个错误, 在A事件已经发生的前提下 B发生, 很容易认为 就是$P(AB)$, 这是错误的; (参见@MARK_0)
. 要求$P(BC|A)$, 即在A这块板子上 扔个小球 落在$BC$区域的概率; 暂把A这个背景拿掉, 即$P(BC)=P(B)\ast P(C|B)$, 他其实是: $P(BC|S)=P(B|S)\ast P(C|B|S)$; (S为样本空间), 仔细从*文氏图 以及条件概率的裁剪板子的角度 去思考;
. . 因此, 当前的背景是A, 在每一项后面 添加 (A这块板子的限制), 即$P(BC|A)=P(B|A)\ast P(C|B|A)$;

@DELIMITER

错误汇总

不要把条件概率$P(B|A)$理解为: 做一次试验 他的结果是$A$的前提下, 再做一次试验 结果为$B$的概率;
. 这是完全错误的; 试验的定义里就说 两次试验的结果 一定是独立的, 因为上述这个问题 答案一定是$P(B)$ (而不是$P(B|A)$);
. 条件概率是讲的一次试验; 比如, 样本空间为{ax, ay, az, bx, by}, 事件A为a? (即$P(A)=1/2$), 事件B为?x (即$P(B)=2/5$);
. . 条件概率$P(B|A)$ 是指$A$中 属于B的元素 占A集合的比例, 即ax占{ax, ay, az}, 即$1/3$;

@DELIMITER

在A事件已经发生的前提下 B发生, 很容易认为 就是$P(AB)$ AB同时发生的概率, 这是错误的;

为什么他俩很容易混淆呢?
因为他们对应的集合 是相同的, 可是虽然集合相同 但你也要看语境 (虽然说 集合相同概率就相同, 这是对的, 但条件概率是一种特殊的语境)
. 比如, 假设$P(A)=1/2$, A = { b , c } , B = { a , b , c } A = \{b, c\}, B = \{a, b, c\} A={b,c},B={a,b,c}, 从集合的角度看 $P(AB)=P(A)=1/2$ (即AB同时发生的概率是$1/2$);
. . 但是, 现在已知A已经发生了, 在这个前提下, B发生的概率是多少? (即现在给定你 { b , c } \{b, c \} {b,c}, 问这里面 有多少个 是$B$的元素), 显然是$100\%$;
. 即, $P(AB)=1/2,P(B|A)=1$;

{划分, 全概率公式, 贝叶斯公式,独立性}

定义

划分

样本空间S为{a1,a2,a3,a4}, 将其划分为若干互斥子集合 {s1,s2,…} (他们的并集 为S); 则{s1,s2,…}就称是S的一个划分;
. 最简单的, 所有的基本事件 就是一个划分; 对于任意事件A, { A , A ‾ } \{A, \overline A\} {A,A}构成一个划分;
. {a1,a2,a3}和{a4} 也是一个划分;

@DELIMITER

全概率公式

令{S1, S2, …}为样本空间的一个划分, 对任何事件A: $P(A)=P(A{S}_1)+P(A{S}_2)+...$; (从文氏图面积的角度, 很容易理解);
. 利用条件概率可得: $P(A)=P(A|S_1)P(S_1)+P(A|S_2)P(S_2)+...$; (这个公式, 就称为全概率公式);

@DELIMITER

贝叶斯定理

$P(A|B)=\frac{P(AB)}{P(A)}$;
. 此时, 分子用 条件概率展开 即$P(B)P(B|A)$;
. 分母用 全概率公式展开; (比如 令划分为 { B , B ‾ } \{B, \overline B\} {B,B}, 则$P(A)=P(AB)+P(A\overline{B})$, 这两项 再用条件概率展开为$P(B)P(A|B)$;
. 以上就是贝叶斯定理;

$P(A|B),P(B|A)$这两个概率 是不一样的, 但是 他俩是有确定的关系的, 贝叶斯定理就是表述这种关系的, 通过已知的3个概率 来推出第4个概率;

@DELIMITER

独立性

若$P(AB)=P(A)P(B)$, 则称AB两事件是相互独立的;
. 推论: $P(A)=P(A|B),P(B)=P(B|A)$;

给定若干事件, 若任意两个事件是互相独立的, 则称这些事件是两两独立的;

性质

不要将独立性和联合概率为0混淆;

AB两事件独立, 并不是说 他们的交集为空 (即联合概率为0);
. 比如, AB事件没有交集 即$P(AB)=0$, 设$P(A/B)>0$, 则显然 $P(AB)\ne P(A)P(B)$; 因此, 联合概率为0 不能说明他俩是独立的;
. 比如样本空间为{aa, ab, ba, bb}, 事件A为{a?}, 事件B为{?b}; $P(B)=1/2$; 当事件A已经发生了 {aa, ab}, 可以发现 此时事件B发生的概率 依然是$1/2$;
. . 也就是, 在整个板子里触发B事件 和 在A这块板子里触发B事件, 概率是一样的; (但他俩的集合是不同的, 比如整个板子里 B事件有ab, bb, 而在A板子里 B事件只有ab);

@DELIMITER

全概率公式的一个推论: $P(A)=P(AB)+P(A\overline{B})$; (B为任意事件);