自信息量
单符号离散信源的数学模型可用一维随机变量
X
X
X的概率空间分布来描述:
如果信源发出的消息
x
i
x_i
xi的概率为
p
(
x
i
)
p(x_i)
p(xi),则它所能提供的自信息量为:
I
(
x
i
)
=
−
l
o
g
2
p
(
x
i
)
I(x_i)=-log_2\ p(x_i)
I(xi)=−log2 p(xi)含义:
- 信源发出信号前信宿对消息的不确定性;
- 信源发出信号后提供给信宿的信息量,即消除不确定性所需的信息量。
性质: - 值非负
- 单调递减
联合自信息量
自信息量的推广,涉及两个随机事件的离散信源的数学模型:
I
(
x
i
y
j
)
=
−
l
o
g
2
p
(
x
i
,
y
i
)
I(x_iy_j)=-log_2\ p(x_i,y_i)
I(xiyj)=−log2 p(xi,yi)当
X
、
Y
X、Y
X、Y独立时:
I
(
x
i
y
j
)
=
−
l
o
g
2
p
(
x
i
,
y
i
)
=
−
l
o
g
2
p
(
x
i
)
−
l
o
g
2
p
(
y
i
)
=
I
(
x
i
)
+
I
(
y
j
)
I(x_iy_j)=-log_2\ p(x_i,y_i)=-log_2\ p(x_i)-log_2\ p(y_i)=I(x_i)+I(y_j)
I(xiyj)=−log2 p(xi,yi)=−log2 p(xi)−log2 p(yi)=I(xi)+I(yj)
条件自信息量
后验概率:
I
(
y
j
∣
x
i
)
=
−
l
o
g
2
p
(
y
j
∣
x
i
)
I(y_j|x_i)=-log_2\ p(y_j|x_i)
I(yj∣xi)=−log2 p(yj∣xi)信道转移概率:
I
(
x
i
∣
y
j
)
=
−
l
o
g
2
p
(
x
i
∣
y
i
)
I(x_i|y_j)=-log_2\ p(x_i|y_i)
I(xi∣yj)=−log2 p(xi∣yi)
自信息量、联合自信息量和条件信息量之间关系:
I
(
x
i
y
j
)
=
−
l
o
g
2
p
(
x
i
,
y
j
)
=
−
l
o
g
2
p
(
y
j
∣
x
i
)
p
(
x
i
)
=
I
(
y
j
∣
x
i
)
+
I
(
x
i
)
=
−
l
o
g
2
p
(
x
i
∣
y
j
)
p
(
y
j
)
=
I
(
x
i
∣
y
j
)
+
I
(
y
j
)
\begin{aligned} I(x_iy_j)&=-log_2\ p(x_i,y_j)\\ &=-log_2\ p(y_j|x_i)p(x_i)=I(y_j|x_i)+I(x_i)\\ &=-log_2\ p(x_i|y_j)p(y_j)=I(x_i|y_j)+I(y_j) \end{aligned}
I(xiyj)=−log2 p(xi,yj)=−log2 p(yj∣xi)p(xi)=I(yj∣xi)+I(xi)=−log2 p(xi∣yj)p(yj)=I(xi∣yj)+I(yj)
互信息量
互信息量 = 先验不确定度 - 后验不确定度
I
(
x
i
;
y
j
)
=
I
(
x
i
)
−
I
(
x
i
∣
y
j
)
I(x_i;y_j)=I(x_i)-I(x_i|y_j)
I(xi;yj)=I(xi)−I(xi∣yj)性质:
I
(
x
i
;
y
j
)
=
I
(
x
i
)
−
I
(
x
i
∣
y
j
)
=
l
o
g
2
p
(
x
i
∣
y
j
)
p
(
x
i
)
=
l
o
g
2
p
(
x
i
,
y
j
)
p
(
y
j
)
p
(
x
i
)
=
l
o
g
2
p
(
y
j
∣
x
i
)
p
(
y
j
)
=
I
(
y
j
)
−
I
(
y
j
∣
x
i
)
=
I
(
y
j
;
x
i
)
\begin{aligned} I(x_i;y_j)&=I(x_i)-I(x_i|y_j)\\ &=log_2\ {\frac{p(x_i|y_j)}{p(x_i)}}\\ &=log_2\ {\frac{p(x_i,y_j)}{p(y_j)p(x_i)}}\\ &=log_2\ {\frac{p(y_j|x_i)}{p(y_j)}}\\ &=I(y_j)-I(y_j|x_i)\\ &=I(y_j;x_i) \end{aligned}
I(xi;yj)=I(xi)−I(xi∣yj)=log2 p(xi)p(xi∣yj)=log2 p(yj)p(xi)p(xi,yj)=log2 p(yj)p(yj∣xi)=I(yj)−I(yj∣xi)=I(yj;xi)
- 互信息量的值可正可负;
- 统计独立的变量之间互信息量为0;
- 两个消息之间的互信息量不大于其中任何一个消息的自信息量。
信息熵
随机变量
X
X
X的信息熵为:自信息量
I
(
x
)
I(x)
I(x)的数学期望,简称熵。
H
(
x
)
=
E
(
I
(
x
)
)
=
−
∑
x
∈
X
p
(
x
)
(
l
o
g
2
p
(
x
)
)
H(x)=E(I(x))=-\sum_{x\in X}{p(x)(log_2\ p(x))}
H(x)=E(I(x))=−x∈X∑p(x)(log2 p(x))性质:
- 熵非负;
- 信源发出前,表示信源的平均不确定度;
- 信源发出后,表示信源提供的平均信息量;
- 统计量,不具有个体性质。