西瓜书《机器学习》课后答案——chapter14

1.试用盘式记法表示条件随机场和朴素贝叶斯分类器。

2.证明图模型中的局部马尔科夫性：给定某变量的邻接变量，则该变量条件独立于其他变量。
解答：
这个问题以及第3题其实是不太严谨的。
根据李航《统计学习方法》p.193中概率无向图模型的定义：

概率无向图模型：
设有联合概率分布$P(Y)，由无向图$G=(V,E)$表示，在图$G$中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满足成对、局部或者全局马尔科夫行，就称此联合概率分布为概率无向图模型，或马尔可夫随机场。

并在p.192页最后一句话：

上述成对的、局部的、全局的马尔可夫性定义是等价的。

局部马尔可夫性就是概率无向图模型的定义，怎么存在证明定义一说呢？

所以，这个问题应该是想问“因子分解所表示的模型确实满足局部马尔可夫性”，或者想问“已知全局马尔可夫性，推导出局部马尔可夫性”。

对于第一个问题，可以参考西瓜书p.324中证明全局马尔可夫性的方法，证明局部马尔可夫性。

对于第二个问题，由于某节点$v$和非邻接节点$O$由邻接节点$W$分离开，那么由全局马尔可夫性可知

$$P(Y_v, Y_O | Y_W) = P(Y_v|Y_W)P(Y_O|Y_W),$$

而上式表示的就是局部马尔可夫性。

3.证明图模型中的成对马尔科夫性：给定其他所有变量，则两个非邻接变量条件独立。
解答：
同题2。

4.试述在马尔科夫随机场中为何仅需对极大团定义势函数。
解答：

因为极大团定义的势函数所表示的联合概率分布满足马尔可夫场的定义（即满足三个马尔可夫性中的一个），所以只需要对极大团定义势函数即可。

无论是对什么团定义势函数，只要势函数所表示联合概率分布满足马尔可夫随机场的定义，就是OK的。

《统计学习方法》p.194

Hammersley-Clifford定理
概率无向图模型的联合概率分布$P(Y)$可以表示为如下形式：

$$P(Y) = \frac{1}{Z}\prod _C \Psi_C (Y_C)$$

$$Z=\sum_Y\prod_C\Psi_C(Y_C),$$

其中，$C$是无向图的最大团，$Y_C$是$C$的结点对应的随机变量，$\Psi_C(Y_C)$是$C$上定义的严格正函数，乘积是在无向图所有的最大团上进行的。

5.比较条件随机场和对率回归，试析其异同。
解答：
两者都是判别式模型，学习的是条件概率分布$P(Y|X)$。

对率回归模型中只有一个输出变量$y$：

P(y=1|x)=ewx+b1+ewx+b