贝叶斯网络与最大可能解释(MPE)问题

题目：贝叶斯网络与最大可能解释(MPE)问题 

        近来学习贝叶斯网络推理(inference，或译为推断)，看到了最大可能解释（MostProbable Explanation, MPE）这个概念，感觉有些困惑，于是查了一些资料~

        其实，应该有很多人对MPE感到困惑，例如文献[1]中就明确提到：“the problem comes in many variants and has many names that may obscure the novice reader in the field.”

         那么MPE在不同的文献里有多少名字呢？文献[1]提到：

        数一数共有多少个名字?

    most probable explanation (MPE), maximum probabilityassignment (MPA), belief revision, scenario-based explanation, marginal MAP,(partial) abductive inference or maximum a posteriori hypothesis (MAP) ……

1、最大可能解释（MostProbable Explanation, MPE）

        那么究竟什么是最大可能解释（MostProbable Explanation, MPE）问题呢？这里，我们采纳文献[1]中的定义：

文中，V表示probabilisticnetwork的所有顶点集合，集合V被分成两部分：证据结点集合E和解释结点集合M（E∪M =V，E∩M=Ø），输出arg max_mPr(m,e)，意思是输出使概率Pr(m,e)最大的m，不认识符号argmax的人可以参见博客《压缩感知中的数学知识：稀疏、范数、符号arg min》中第3部分对arg min的解释（二者基本一样，一个最小，一个最大，仅此而已），或直接看维基百科词条arg max（链接：https://en.wikipedia.org/wiki/Arg_max）。

        如果英文的解释看起来比较费劲，那么就看文献[2]的中文的解释：

        在贝叶斯网中，证据E=e的一个解释指的是网络中全部变量的一个与E=e相一致的状态组合。而概率最大的那个解释即最大可能解释(MPE)。

【注】文献[2]应该是对应于文献[3]第4章的前4节的PPT，作者张连文主页：http://www.cse.ust.hk/faculty/lzhang/，该书主页：http://www.cse.ust.hk/bnbook/

         继续看文献[2]例子，如图所示贝叶斯网络：

对证据{X=y, D=n}的其中一个解释为{A=y,S=y, T=y, L=y, B=y, X=y, D=n}，共有2⁵=32种解释，MPE问题即是要找出概率最大的那个解释。（其中y表示yes，n表示no）

2、MPE与其它问题的关系

        在文献[2]中提到三类推理问题，即后验概率问题、最大后验假设问题(MAP)、最大可能解释问题(MPE)。

        后验概率问题与另两类问题明显不同，因为这个问题是根据证据变量输出未知变量各种取值的概率，而后两个输出的都是根据证据变量取值输出未知变量的取值。

        那么最大后验假设问题(MAP)和最大可能解释问题(MPE)有什么区别呢？在文献[2]中给出了一个MAP问题的例子：

对比前面的MPE例子，似乎二者并没有太多区别，这两个例子唯一的区别是MAP问题需要预测的变量只有三个，而MPE问题需要预测的变量共有五个（即，除证据变量之外的所有变量）。是的，这就是二者的区别：

        在文献[4](链接)的网页提到“MPE is a special case of the maximum a-posterioriprobability (MAP)”，即MPE是MAP的一种特殊形式：

    Given findings for somenodes,you may want to find the most probable configuration of values for the rest of thenodes.  This can be thought ofas providing a plausible explanation for the observed findings, and is calledthe mostprobable explanation or MPE (it is a special case of the maximum a-posterioriprobability, or MAP).

     You cannot determine the MPE simply by taking for each node the state with highestbelief after regular belief updating (which finds the marginal posteriorprobability for each node).  For example,in a lottery for which we know there is one winner, it might be most probablefor each individual person to lose, but then the overall configuration wouldhave everybody losing, which contradicts the one winner evidence.  Finding the MPE would select onerepresentative person to win (perhaps who bought the most tickets), and therest would be losers.

        文献[5]中提到了MPE问题和MPH问题，其中MPH应该就是这里的MAP问题：

可以看出MPE问题与MPH问题的区别在于MPE问题中O=X\E，而MPH问题中H没有要求，即O是H的一种取值，也就是说MPE是MPH的一种特殊形式。

        另外，文献[1]中还有一个Partial MAP的定义，感觉就是指的文献[2]中的最大后验假设问题(MAP)：

对比文献[1]Partial MAP与MPE两个定义，区别在于多了一个intermediate nodes I，如果I为空集，则PartialMAP与MPE一样，即MPE是MAP的一种特殊形式。

 

        将文献[4]的链接后半部分去掉，只剩https://www.norsys.com/，打开网页：

这是一个公司的主页，里面提到了Netica，网上搜索关键字Netica，可以发现这是一款贝叶斯网络仿真商业软件，使用还是挺广泛的~

         【疑问】文献[1]的定义MPE和PartialMAP最后一句均是“or ⊥ if Pr(m, e)= 0 for every joint valueassignment mto M.”，因为输出是Pr(m, e)取得最大值时的m，如果对M的所有取值m，Pr(m, e)均等于0，则此时没有最大值一说，因此输出“⊥”，那么问题来了，符号“⊥”是什么意思呢？任意值？无定义？

参考文献：

[1]KwisthoutJ. Mostprobable explanations in Bayesian networks: Complexity and tractability[J].International Journal of Approximate Reasoning, 2011, 52(9): 1452-1469.

[2]李诗雪. 第四章  贝叶斯网与概率推理, 百度文库.

链接：https://wenku.baidu.com/view/bcda5b7d844769eae009ed7e.html

[3]张连文，郭海鹏. 贝叶斯网络引论[M]. 科学出版社，2006.

下载链接：http://download.csdn.net/download/luciferzxh/3971729

[4]https://www.norsys.com/WebHelp/NETICA/X_Most_Probable_Explanation.htm

[5]刘俊娜. 贝叶斯网络推理算法研究[D]. 合肥工业大学, 2007.

附录：文献[3]的4.1节内容：