概率无向图模型与条件随机场笔记

    之前有做过中文分词相关的工作,延续它又做了一些序列标注的工作,发现都与两个模型相关,第一个是隐马尔可夫,第二个是条件随机场。找资料后发现有很多资料,但能让我真正理解的、有帮助的中文资料不多,所以,想写一个详细介绍它们的博文。

    首先说下概率图模型,概率图模型是很复杂的一门学问题,鉴于我自己水平有限,对其了解也只能是皮毛。一般来说,概率图模型分为概率有向图模型与概率无向图模型。看起来很烦是吗?其实,最简单的概率有向图模型可以认为是一个朴素贝叶斯分类器。(此处要有一个图)

    可以看到,上面的图中,类别的标记被标记Y,它是一些属性节点的父亲节点,相信大家对这个都很熟悉。它很朴素是因为它做了很多的假设,比如,它的特征相互独立,再比如,上图中的边表示一种因果关系,它只是说,类别标记是特征节点(属性节点)的因,然而没有可能反过来。

    那么,在概率有向图中,更为复杂的是贝叶斯网络,它将类结点与属性节点作为同等的地位。其中比较著名的有Friedman提出的增强型朴素贝叶斯网络(tree-augmented naive bayes),以及马尔可夫毯贝叶斯网络。此外,还有一类叫做动态贝叶斯网络,相信大家对隐马尔可夫模型比较熟悉,它就是一类很常见的动态网络,这里的动态不是说网络结构的变化,而是说建模的系统是一个动态的系统,比如 解决分词问题时的 序列标注问题。

   以上是一些概率有向图的知识,概率无向图模型与之不同的是,节点之间的边不再有方向,因而也没有明确的概率信息,然而它的确意味着节点之间的相互依赖关系。它可以表示一些复杂的依赖关系。

   首先,在图上,马尔可夫性:X2 把X1与X3分开后,X1与X3相互独立。

   根据HC定理,无向概率分布可以认为是

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值