概率图模型更进一步的知识点

最近的任务：对概率图模型，MFR，CRF，HMM进行总结，形成自洽的思维图谱；其次研究这几个模型如何从理论迁移到实际语言处理中的分词、词性标注等问题；最后用代码如何实现分词、词性标注；以及调用模型是如何实现的。这才把所有知识点贯通， 从理论到实践的知行合一。

高维如何简化：每个维度之间相互独立，得到朴素贝叶斯（但这个条件太强），再放松一点条件，得到马尔可夫性，给定当前xi，那么未来xi+1独立于以前的状态xj，而只与当前xi相关（这样做缩短的依赖链，是全部独立和全部相关之间的折中，但是还有一个问题是这样的依赖关系又过于简单，当前状态仅仅依赖与前一个状态，有可能当前状态的依赖关系更加随意）。

在把条件放松一点，得到条件独立性假设：


因子分解直接可以看图来得到，有向图就表示条件概率，怎么得到条件独立性呢？



这一节主要内容挺简单，就是把三个方式合并成一个表示，然后用推导证明xi只与直接和它相连的有关。
这一节介绍概率图的inference的整体结构：
变量消除法：有马式链已知A,B,C,求D。蓝色笔写的是分离变量，一部分一部分地消除掉：

缺点：重复计算，消除的次序和计算复杂度相关，要找到最优的消除次序是NP难问题。
如何解决重复计算：Belief Propagation，正向和反向都先求出来，要中间的某个结果就直接取出来就行。这里采用树状结构，把前向和后向算法引入。

直接把所有的红色和蓝色边都求出来，要计算得到谁就都可以得到。
道德图：把有向图统一到无向图，就不用在计算的时候区分到底是有向合适无向。

对于方框框起来的两种情况直接就可以把有向图转换为团，但是第三种情况（V型）要依据下面的方式来：


因子图：道德图引入了环，但是Belief Propagation算法无法处理环；另外，因子图的表达更加简便。就是在结点与结点之间引入因子结点，把环变成树状结构。

最后我对这几天学习的知识整理一个大概的框架：