1. 概率论基础
概率空间:完备的概率空间由样本空间
、概率函数
、事件的
这3个部分组成。在统计自然语言处理中,我们的目标就是为建立的模型定义一个符合上述条件的概率空间。
-
为一个样本空间或者基本事件空间,它是一个样本点或者基本事件的集合。样本空间
可以是离散的(至多无限可数个样本点),也可以是连续的(不可数个样本点,比如身高取样为连续的值)。对于自然语言处理中的具体问题,主要是离散样本空间,其中包含有限个样本。
包含一个最大元素
的集合,并且该集合对于它的元素求补运算和有限并集运算封闭。
- 概率函数
就是要在整个样本空间
分配概率值,概率值总和为1。一个离散概率函数的形式
,满足如下两个条件:①
;② 可加性:对于不相交的集合
(例如,
),
(式2.1)。
先验概率:不考虑已知知识对概率值的影响,原有的概率值就称为事件的先验概率(prior probability)。
后验概率:加入已知的知识后,原有的概率值将发生变化,称为事件的后验概率(posterior probability)。
条件概率:假设事件
的概率已知,那么事件
发生的条件概率为(
):
(式2.2)。
当
时,有
(式2.3)【乘法律】
将(式2.3)推广到多个事件,
(式2.4)。
独立性:两个事件
和
互相独立当且仅当它们满足
,除非
。
也相当于
,即事件
不影响事件
发生的概率。否则事件
和
为相关的事件。
另外,当事件
满足
时,称为