人工智能数学基础-概率论与数理统计

概率论基础

• 概率论与数理统计是研究什么的？
  • 随机现象：不确定性与统计规律性
  • 概率论：从数量上研究随机现象的统计规律性的科学
  • 数理统计：从应用角度研究处理随机性数据，建立有效的统计方法，进行统计推理

条件概率

• 加法公式：若事件A与B互斥，则
  $$P(A\bigcup B)=P(A)+P(B)$$
  　1. 事件A与B至少有一个发生的事件叫做A与B的和事件，记为 $$A\bigcup B或A+B$$
  　2. 事件A与B都发生的事件叫做A与B的积事件，记为$$A\bigcap B或AB$$
• 对于事件空间$\Omega$，事件A和B的加法公式是：
  $$P(A\bigcup B)=P(A)+P(B)-P(A\bigcap B)$$
  若A、B事件相互独立，那么：$$P(A\bigcap B)=0$$

排列组合

• 组合：从n个元素中取m个元素组成一组(不考虑其顺序)的组合方式个数，记
  $$C{}_n^m，其中m\le n。C{}_n^m=\frac{A{}_n^m}{A{}_m^m}=\frac{n!}{m!(n-m)!}，其中C{}_n^0=1$$
• 排列数：从n个元素中抽取m个元素的所有不同的排列个数。记作 $$A{}_n^m。其中m\le n。A{}_n^m=n(n-1)\cdots (n-m+1)$$

全概率公式

• 当求某一事件A的概率比较困难，而求条件概率比较容易时，可先设法将这个事件A分成几个互不相容的和，再利用加法公式和乘法公式解之。
  样本设$$B_1,B_2\cdots B_n，为一列互不相容的事件，且\bigcup _{i=1}^n{B}_i=\Omega$$，则对任一事件A，有
  $$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+\cdots +P(B_n)P(A|B_n)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$
  参考全概率 中间关于全概率公式的例子部分。
• 注意：参考连接链接例子的三条路不拥堵的概率是指各自的概率，是相对独立的

贝叶斯法则

• 通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定关系，贝叶斯法则就是这种关系的陈述。

定义1：

• 若 $$A_1,A_2,\cdots A_n构成一个完备事组，且P(A_i)>0,i=1,2,\cdots n$$
  $$则对于任何事件，有P(A_i|B)=\frac{P(A_i)P(B|A_i)}{{\sum }_{j=1}^{n}P(A_j)P(B|A_j)},i=1,2,\cdots n$$

设自然状态$\theta 有k种$, $${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$$

• 全概率公式：$$P(x)=\sum _{i=1}^{n}P(x|{\theta }_i)P({\theta }_i)$$
• Bayes公式（后验公式）：$$P({\theta }_i|x)=\frac{P(x|{\theta }_i)P({\theta }_i)}{{\sum }_{i=1}^{n}P(x|{\theta }_i)P({\theta }_i)}$$

注：

1. 把事件${\theta }_i,x$看为随机变量，上公式则为Bayes后验分布
2. $P({\theta }_i)$:自然状态${\theta }_i$发生的先验概率分布；
3. $P(x|{\theta }_i)$:自然状态${\theta }_i$条件下事件为x的概率；
4. $P({\theta }_i|x)$:${\theta }_i$发生的后验概率；
5. 全概率公式：$P(x)为x$在各种状态下可能出现的概率的综合值。

贝叶斯意义

贝叶斯定理的意义在于，能在出现一个新的补
充事件条件下，重新修正对原有事件概率的估
计。即计算出后验概率分布。
在提供了新的补充信息条件下，这一修正的概
率比没有补充信息条件下的概率估计更为准确。
例子如下图：


可以看到通过两次贝叶斯公式(后验公式)计算，结果正确率大大提高