机器学习基础 7：概率与分布

概率 (Probability)

  在关于频率这一概念的解释中，一个被广泛接受的解释是频率解释(frequency interpretation)：

在长期观测过程中，一个事件(event)发生或出现的比例

样本空间 (Sample Space)

  在统计学中，观察与测量的过程被称为经验(experiment)
，其中包含一系列或复杂或简单的决策过程。我们从经验中可以获取到各种数据被称为结果(outcomes)。所有可能结果的集合被称为样本空间。样本空间中的每个结果在被称为样本点。
  如果样本空间 $S$ 中的元素是有限的，则我们可以使用枚举法来表示：

S = { e 1 , e 2 , ⋯   , e n } S = \{e_1,e_2,\cdots,e_n\} S={ e1​,e2​,⋯,en​}

  如果元素是无限的，则我们可以使用规则来描述：

S = { x ∣ x ∈ R } S = \{x | x \in R\} S={ x∣x∈R}

  可以按照样本空间中的元素数量来对其进行分类：

离散型：包含有限个元素，或者包含无限个可数(countable)元素
连续型：包含无限个不可数元素

事件 (Event)

  在许多问题中，我们感兴趣的结果并不能从样本空间中的某个特定元素直接获得。
  我们可以将关注点描述为某个事件，事件可以定义为一个样本空间中的元素子集，包含了对应该事件发生所有元素。
  对于离散型样本来说，所有子集都可以看作事件。但是对于连续性样本来说，为了能够进行有效的数值运算，必须将一些无关的点集排除。
  在许多概率问题中，我们感兴趣的事件实际上是多个事件的并集(union)、交集(intersection)或补集(complement)。

假设 (Postulate)

  为了能够赋予概率实际意义，我们需要作出一些假设。

1. 概率总是非负的

2. 必然事件的概率为1
3. 互斥事件的概率可以相加

  如果事件 A 处于一个离散空间，则该事件概率是所有构成该事件的元素的概率之和。因为离散空间中的元素都是互斥的。

对于包含 N 个元素的离散样本空间 S，其每个元素 对应的概率为 $\frac{1}{N}$。
如果事件 A 由 n 个元素组成，则其对应个概率为${\sum }_n\frac{1}{N}=\frac{n}{N}$

定律 (Rule)

基于之前给出的三个假设，可以推导出许多具有重要应用价值的定律。

如果 A 与 A’ 是两个互补事件，则有：
$$P(A^{\prime })=1-P(A)$$

不可能事件的概率为0：
$$P(\varnothing )=0$$

有 A 与 B 两个事件：
  1. 如果 $A\subset B$ 则有 $P(A)\le P(B)$
  2. $P(A\cup B)=P(A)+P(B)-P(A\cap B)$

条件概率 (Conditional Probability)

  脱离一个特定的样本空间，概率将会变得难以描述。
  为了明确地表明事件与样本空间的关联，我们使用条件概率来进行表示：

事件 A 在样本空间 S 中的概率为 $P(A|S)$ 事件 A 在给定 S 的条件下的概率

  A，B两个事件属于同一个样本空间：

在事件 A 发生的情况下，B 事件发生的概率为 $P(B|A)=\frac{P(A\cap B)}{P(A)}$
两边同时乘以 $P(A)$，可得到 $P(A\cap B)=P(A)\cdot P(B|A)$

  A，B，C 三个事件属于同一个样本空间：

$$\begin{gathered} P(A\cap B\cap C) \\ =P(A\cap B)\cdot P(C|A\cap B \end{gathered}$$