背景介绍
随机变量的基础知识
对于多元随机变量X1,X2
P(X1)叫做边缘概率
P(X1,X2)叫做联合概率
P(X1|X2)叫做条件概率
加法法则
乘法法则
(以上两个法则是最基础的,其他都来源于此)
链式法则
贝叶斯法则
圈红的部分是以前语言模型常用的公式
后面是更细致的展开成积分形式
高维困境
以上都是以二维为例子,在高维中计算就会变复杂
比如下图中的联合概率公式,在维度增加时,复杂度呈等差数列求和上升
几种简化方式
假设相互独立
朴素贝叶斯分类——基于独立假设
马尔可夫链
全都独立有点太过理想化,实际应用往往不满足
马尔可夫链的思路就是,某一事件的发生只和前n个事件相关联
(完全相互独立可以说是0阶马尔可夫)
公式是一阶马尔可夫,横竖符号表示独立
也就是说i+1和i之前的项都无关(可能就只和i有关)
HMM 隐马尔可夫模型
条件独立性假设
马尔科夫链也太过理想化,因为可能会有多依赖或跳跃依赖
因此引入条件独行性,公式如下
公式中XA,XB,XC都是随机变量的集合,且不相交
集合就能解决多依赖和跳跃依赖的问题
解释一下就是:
在Xc集合中的随机变量确定时,XA,XB集合中的随机变量相互独立
图
通过拓扑排序,就可以很简单的构造一个概率图
有向图-贝叶斯网络
无向图-马尔可夫网络/马尔可夫随机场
贝叶斯网络
因子分解
条件独立性
这里用图解释了所谓的条件独立性
也证明了有向图(贝叶斯网络)是包含了条件独立性信息的
上图这种模式的链接,称作tail to tail
可以总结:在尾巴指向的变量前提下,箭头指向的两个随机变量相互独立
这张图的模式的链接,称作head to tail
可以总结:在中间变量的前提下,两边的两个随机变量相互独立
这张图这种模式的链接,称作head to head
可以