《概率论与数理统计》：（一）概率论的基本概念

  本系列博文主要是针对机器学习算法中需要的一些知识点做一个总结，方便回顾和复习，我只总结了一些比较常用的概念，在学习算法的过程中遇到的概念我会慢慢更新，期待有所进步。废话不多说，我们开始总结吧！

1. 重要概念

• 样本空间：随机试验E的所有可能结果组成的集合成为E的样本空间。样本空间的元素，即E的每个结果，称为样本点。
• 样本空间的一个划分：设S为试验E的样本空间，B1，B2，…，Bn 为 E 的一组事件。若：
  （1）事件B之间两两不相交。
  （2）事件B的并集为S。
  则称B1，B2，…，Bn 为样本空间S的一个划分。
• 频率：在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数Na成为事件A发生的频数。比值Na / n成为事件A发生的频率。大量试验证实，当重复试验的次数n逐渐增大时，频率 f（A）呈现出稳定性，逐渐稳定于某个常数，这种“频率稳定性”即通常说的统计规律性。
• 概率：对于随机试验E的每一事件A赋予一个实数，记为P（A），称事件A的概率。当 n 趋近于无穷时，频率 f（A）在一定意义下接近于概率P（A）。

2. 等可能概型（古典概型）

• 特点：（1）试验的样本空间只包含有限个元素。（2）试验中每个基本事件发生的可能性相同。由一个样本点组成的单点集，称为基本事件。
• 计算公式：P（A）= A包含的基本事件的个数m / 基本事件的总数n
• 抽样方式：（1）放回抽样（2）不放回抽样

3. 超几何分布

• 定义：超几何分布是统计学上一种离散概率分布。它描述了从有限N个物件（其中包含M个指定种类的物件）中抽出n个物件，成功抽出该指定种类的物件的次数（不放回抽样）。称为超几何分布，是因为其形式与“超几何函数”的级数展式的系数有关。

• 产品抽样检查中经常遇到一类实际问题，假定在N件产品中有M件不合格品，即不合格率
  
  在产品中随机抽n件做检查，发现k件不合格品的概率为
  

  C（a,b）为古典概型的组合形式，a为下限，b为上限，此时我们称随机变量X服从超几何分布（hypergeometric distribution）。

4. 条件概率

条件概率所考虑的是事件A已发生的条件下事件B发生的概率。

• 定义:设A，B是两个事件，且P（A）> 0，称

P（B | A） = P（AB） / P（A）

为事件A发生的条件下B发生的条件概率。

5. 全概率公式与贝叶斯公式

5.1 全概率公式

• 定理：设试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个划分，且P（Bi）> 0（i = 1,2,3,…,n），则

P（A） = P （A | B1）P（B1） + P （A | B2）P（B2）+ … + P （A | Bn）P（Bn）

称为全概率公式。

5.2 贝叶斯公式（Bayes）

贝叶斯公式应用于机器学习的朴素贝叶斯分类器中，是重要并需要掌握的概念，具体实现可以参看sklearn模块之朴素贝叶斯：（一）多项式模型的实现，博主还未写理论部分，可以期待后续的更新。

• 定理：设试验E的样本空间为S，A为E的事件，B1，B2，…，Bn为S的一个划分，且P（A） > 0 ，P（Bi） > 0 （i = 1,2,3,…,n），则

P（Bi | A） = P（A | Bi）P（B）/ P（A）
P（A） = P （A | B1）P（B1） + P （A | B2）P（B2）+ … + P （A | Bn）P（Bn）

6. 事件的独立性

• 事件的独立性：设A，B是两事件，如果满足等式 P（AB） = P（A）P（B），则称事件A，B相互独立，简称A，B独立。

例子：试验E为抛甲、乙两枚硬币，观察正反面出现的情况。设事件A为“甲币出现H”，事件B为“乙币出现H”。E的样本空间为S = {HH , HT , TH , TT}
由数据我们可以得出：
    P（A） = 2/4 = 1/2 ， P（B） = 2/4 = 1/2
    P（B | A） = 1/2 ，  P（AB） = 1/4
在这里我们看到 P（B | A）= P（B），而 P（AB） = P（A） P（B），从我们的经验出发，显然甲币是否出现正面与乙币是否出现正面是互不影响的！

参考资料：《概率论与数理统计(第四版)》作/译者：盛骤 谢式千 潘承毅