本文深入解析了三元互信息I(X;Y;Z)的概念，探讨了它与单独熵和条件互信息的关系，并通过示例展示了如何在机器学习中利用链式法则。重点讲解了I(X,Y;Z)的联合互信息性质，以及其在理解多变量依赖中的作用。
I(X;Y;Z)三方交互信息（或，三元互信息）
当有三个随机变量时他们之间各种熵和互信息之间关系如下图所示，可以看到中间那部分就是
I
(
X
;
Y
;
Z
)
I(X;Y;Z)
I(X;Y;Z)
I
(
X
;
Y
;
Z
)
=
I
(
X
;
Y
)
−
I
(
X
;
Y
∣
Z
)
I
(
X
;
Y
;
Z
)
=
I
(
X
;
Z
)
−
I
(
X
;
Z
∣
Y
)
I
(
X
;
Y
;
Z
)
=
I
(
Y
;
Z
)
−
I
(
Y
;
Z
∣
X
)
I
(
X
;
Y
;
Z
)
=
H
(
X
,
Y
,
Z
)
−
H
(
X
)
−
H
(
Y
)
−
H
(
Z
)
+
I
(
X
,
Y
)
+
I
(
Y
,
Z
)
+
I
(
X
,
Z
)
I(X;Y;Z) = I(X;Y)-I(X;Y|Z)\\ I(X;Y;Z) = I(X;Z)-I(X;Z|Y)\\ I(X;Y;Z) = I(Y;Z)-I(Y;Z|X)\\ I(X;Y;Z) = H(X,Y,Z)-H(X)-H(Y)-H(Z)+I(X,Y)+I(Y,Z)+I(X,Z)
I(X;Y;Z)=I(X;Y)−I(X;Y∣Z)I(X;Y;Z)=I(X;Z)−I(X;Z∣Y)I(X;Y;Z)=I(Y;Z)−I(Y;Z∣X)I(X;Y;Z)=H(X,Y,Z)−H(X)−H(Y)−H(Z)+I(X,Y)+I(Y,Z)+I(X,Z)
I(X,Y;Z)联合互信息
I
(
X
,
Y
;
Z
)
=
I
(
X
;
Z
)
+
I
(
Y
;
Z
∣
X
)
=
I
(
Y
;
Z
)
+
I
(
X
;
Z
∣
Y
)
I(X,Y ; Z) = I(X; Z) + I(Y ; Z|X)\\ \qquad \qquad\quad=I (Y ; Z)+I (X; Z |Y)
I(X,Y;Z)=I(X;Z)+I(Y;Z∣X)=I(Y;Z)+I(X;Z∣Y)
这个互信息是将
X
,
Y
X,Y
X,Y看做一个整体，然后求和
Z
Z
Z之间的互信息
链式法则：
参考文献
- Jakulin A. Machine learning based on attribute interactions[D]. Univerza v Ljubljani, 2005.
3587
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
