熵
熵是用来衡量变量不确定性的指标，变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量就越大，用样本的分布衡量平均编码长度。熵的表达式为
H(p)=−∑p(i)∗logp(i)
H
(
p
)
=
−
∑
p
(
i
)
∗
log
p
(
i
)
，例如盒子里有4个颜色的求，每个球的概率是
14
1
4
，那么需要的平均编码长度为2。从下图中可以看出一件事我们越难猜测是否会发生，它的信息熵就越大
交叉熵
交叉熵是用分布q来表示分布p的平均编码长度，表达式是：
H(p,q)=∑ip(i)∗log1q(i)
H
(
p
,
q
)
=
∑
i
p
(
i
)
∗
log
1
q
(
i
)
，
H(p,q)>=H(p)
H
(
p
,
q
)
>=
H
(
p
)
恒成立，当q与p同分布时取等号。交叉熵是神经网络、深度学习模型的损失函数，最小化交叉熵使模型预测的输出与标记同分布。
交叉熵在机器学习中的使用-损失函数
相对熵
相对熵又被称为KL散度(Kullback–Leibler divergence，KLD) ，表示2个函数或概率分布的差异性，差异越大则相对熵越大，差异越小则相对熵越小，其表达式为 H(p,q)−H(p)=∑ip(i)∗logp(i)q(i) H ( p , q ) − H ( p ) = ∑ i p ( i ) ∗ log p ( i ) q ( i )
联合熵
联合熵表示（X,Y）在一起时的不确定性度量，表达式为 H(X,Y)=−∑p(x,y)∗logp(x,y) H ( X , Y ) = − ∑ p ( x , y ) ∗ log p ( x , y )
条件熵
条件熵是X确定时，Y的不确定性度量，表达式为
H(X,Y)−H(X)=−∑p(x)∗p(y/x)∗logp(y/x)=−∑p(x,y)∗logp(y/x)
H
(
X
,
Y
)
−
H
(
X
)
=
−
∑
p
(
x
)
∗
p
(
y
/
x
)
∗
log
p
(
y
/
x
)
=
−
∑
p
(
x
,
y
)
∗
log
p
(
y
/
x
)
条件熵为最大熵模型的损失函数，即对数似然函数
通俗理解条件熵
信息增益
特征X对Y的信息增益表达式如下，决策树学习运用信息增益选择特征，表示给定特征X，Y的不确定性减少的程度，信息增益大的特征具有良好的分类能力。从根节点开始，计算所有特征的信息增益，选择信息增益大的特征做为叶节点。
g(Y,X)=H(Y)−H(Y/X)
g
(
Y
,
X
)
=
H
(
Y
)
−
H
(
Y
/
X
)
详细说明参考 如何通俗的解释交叉熵与相对熵?
本文内容参考以下链接，写博客的目的是学习的总结和知识的共享，如有侵权，请与我联系，我将尽快处理
7760
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
