交叉熵:
用于多分类的损失函数,熵越大模型越不确定,熵越小模型越确定,即优化模型目的是最小化交叉熵
公式如下:
例子:
信息熵:
信息熵是消除不确定性所需信息量的度量,也即未知事件可能含有的信息量,信息熵大小与观测者的观测粒度有关,即在
P
(
x
i
)
P(x_i)
P(xi)这个观测分布下熵的大小
相对熵(KL散度)
如果对于同一个随机变量
X
X
X有两个单独的概率分布
P
(
x
)
P
(
x
)
P
(
x
)
和
Q
(
x
)
Q
(
x
)
Q
(
x
)
P(x)P\left(x\right)P(x)和Q(x)Q\left(x\right)Q(x)
P(x)P(x)P(x)和Q(x)Q(x)Q(x),则我们可以使用KL散度来衡量这两个概率分布之间的差异。
比如一个是模型得到的概率分布
P
(
x
)
P(x)
P(x)一个是真实分布
Q
(
x
)
Q(x)
Q(x),那么这俩个分布分差异可以用相对熵表示
也可以这么计算(可以看下面链接推导):
相对熵可以衡量两个随机分布之间的距离,当两个随机分布相同时,它们的相对熵为零,当两个随机分布的差别增大时,它们的相对熵也会增大。所以相对熵可以用于比较文本的相似度,先统计出词的频率,然后计算相对熵。另外,在多指标系统评估中,指标权重分配是一个重点和难点,也通过相对熵可以处理
参考链接:https://blog.csdn.net/b1055077005/article/details/100152102