信息论基本想法:
- 可能性越大的事件信息量越少,极端情况下,确保一定发生的事件不具有任何信息量。
- 可能性越小的事件具有更高的信息量。
- 独立的事件应具有增量的信息。
满足上面三个性质:定义事件
X
=
x
X=x
X=x自信息:
I
(
x
)
=
−
log
P
(
x
)
I(x)=-\log P(x)
I(x)=−logP(x)
上述公式是对单个事件的不确定性进行量化。
信息熵:
对整个概率分布的不确定性进行量化。
H
(
x
)
=
E
x
∼
P
[
I
(
x
)
]
=
E
x
∼
P
(
log
(
P
(
x
)
)
H(x)=E_{x\sim P}[I(x)]=E_{x\sim P}(\log(P(x))
H(x)=Ex∼P[I(x)]=Ex∼P(log(P(x))
它反映了对依据某个分布
P
P
P产生的符号进行编码所需比特数的下界。分布
P
P
P越均匀信息熵越大。、
KL散度:
KL散度用来衡量两个分布的差异:
D
K
L
(
P
∣
∣
Q
)
=
E
x
∼
P
log
(
P
(
x
)
Q
(
x
)
)
=
E
x
∼
P
(
log
P
(
x
)
−
log
(
Q
(
x
)
)
)
D_{KL}(P||Q)=E_{x\sim P}\log(\frac{P(x)}{Q(x)})=E_{x\sim P}(\log P(x)-\log(Q(x)))
DKL(P∣∣Q)=Ex∼Plog(Q(x)P(x))=Ex∼P(logP(x)−log(Q(x)))
性质:
1:非负性。
2:非对称性:
D
K
L
(
P
∣
∣
Q
)
≠
D
K
L
(
Q
∣
∣
P
)
D_{KL}(P||Q)\neq D_{KL}(Q||P)
DKL(P∣∣Q)=DKL(Q∣∣P)
交叉熵:
H
(
P
,
Q
)
=
H
(
P
)
+
D
K
L
(
P
∣
∣
Q
)
H(P,Q)=H(P)+D_{KL}(P||Q)
H(P,Q)=H(P)+DKL(P∣∣Q)
与KL散度相比缺少了左边的一项,针对
Q
Q
Q最小化交叉熵等价于最小化KL散度。因为
Q
Q
Q并不参与左边的一项。