信息论
信息论的基本想法是一个不太可能的事情发生要比一个常可能发生的事件提供更多的信息
1 信息量
度量信息多少的一个物理量,从量上反应具有确定概率的事件发生是所传递的信息
用概率表示一个发生概率为p的事件发生传递的信息量为
−
l
o
g
2
(
p
)
-log_2(p)
−log2(p)概率在[0,1]之间,
采用
−
log
2
p
-\log_2 p
−log2p表示信息量发生概率越小传递的信息量越大,发生概率越大越接近1传递的信息量越小
2 信息熵
评价整个随机变量X信息量的期望
H
(
X
)
=
−
∑
x
i
∈
X
p
(
x
i
)
log
2
(
p
(
x
i
)
)
H(X)=-\sum_{x_i \in X}p(x_i)\log_2(p(x_i))
H(X)=−∑xi∈Xp(xi)log2(p(xi))
二元变量信息熵
H
(
X
)
=
−
p
log
2
(
p
)
−
(
1
−
p
)
l
o
g
2
(
1
−
p
)
H(X)=-p\log_2(p)-(1-p)log_2(1-p)
H(X)=−plog2(p)−(1−p)log2(1−p)
3 条件熵
H(Y|X)代表在已知随机变量X的条件下，随机变量Y的不确定性
H
(
Y
∣
X
)
<
=
H
(
Y
)
H(Y|X)<=H(Y)
H(Y∣X)<=H(Y)
4 互信息
信息增益，用于评价一个事件的出现对另一个事件的出现所贡献的信息量
I
(
X
,
Y
)
=
H
(
Y
)
−
H
(
Y
∣
X
)
I(X,Y)=H(Y)-H(Y|X)
I(X,Y)=H(Y)−H(Y∣X)在决策树的特征选择中信息增益为主要依据
5 相对熵
p ( x ) p(x) p(x)和 q ( x ) q(x) q(x)是X取值的两个概率分布,p(x)表示X的真实分布 q(x)表示X的训练分布或者预测分布
K L ( p ( x ) ∥ q ( x ) ) = ∑ x ∈ X p ( x ) log 2 ( p ( x ) q ( x ) ) \displaystyle KL(p(x)\Vert q(x))=\sum_{x\in X}p(x)\log_2(\frac{p(x)}{q(x)}) KL(p(x)∥q(x))=x∈X∑p(x)log2(q(x)p(x)) 衡量两个分布的差异，并且满足非负性
6 交叉熵
H ( p ( x ) , q ( x ) ) = ∑ x i ∈ X p ( x ) log 2 ( q ( x ) ) H(p(x),q(x))=\sum_{x_i\in X}p(x)\log_2(q(x)) H(p(x),q(x))=∑xi∈Xp(x)log2(q(x))可在神经网络中作为代价函数
1526
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
