定义
条件互信息
I
(
X
,
Y
∣
Z
)
I(X, Y|Z)
I(X,Y∣Z)定义如下：
I
(
X
,
Y
∣
Z
)
=
∑
z
∈
Z
p
Z
(
z
)
∑
y
∈
Y
∑
x
∈
X
p
X
,
Y
∣
Z
(
x
,
y
∣
z
)
log
p
X
,
Y
∣
Z
(
x
,
y
∣
z
)
p
X
∣
Z
(
x
∣
z
)
p
Y
∣
Z
(
y
∣
z
)
I(X, Y|Z)=\sum_{z\in Z}p_Z(z)\sum_{y \in Y}\sum_{x \in X} p_{X,Y|Z}(x,y|z)\log \frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}
I(X,Y∣Z)=z∈Z∑pZ(z)y∈Y∑x∈X∑pX,Y∣Z(x,y∣z)logpX∣Z(x∣z)pY∣Z(y∣z)pX,Y∣Z(x,y∣z)
也有：
I
(
X
,
Y
∣
Z
)
=
∑
z
∈
Z
∑
y
∈
Y
∑
x
∈
X
p
X
,
Y
,
Z
(
x
,
y
,
z
)
log
p
Z
(
z
)
p
X
,
Y
∣
Z
(
x
,
y
∣
z
)
p
X
,
Z
(
x
,
z
)
p
Y
,
Z
(
y
,
z
)
I(X, Y|Z)=\sum_{z\in Z}\sum_{y \in Y}\sum_{x \in X} p_{X,Y,Z}(x,y,z)\log \frac{p_{Z}(z)p_{X,Y|Z}(x,y|z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}
I(X,Y∣Z)=z∈Z∑y∈Y∑x∈X∑pX,Y,Z(x,y,z)logpX,Z(x,z)pY,Z(y,z)pZ(z)pX,Y∣Z(x,y∣z)
see also
集智百科：条件互信息
750
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
