损失函数熵理解

损失函数熵理解

详解：https://www.cnblogs.com/wangguchangqing/p/12068084.html#autoid-0-0-0

熵：信息量大小，和化学中的混乱程序想对比理解，越大表示不确定性越大，信息量越小；因此越小越好

相对熵：也叫KL散度，两个概率分布的相似程度，越小越相似，从公式也可以看出来两个每个的概率都相同，那么为0；

交叉熵：目标分布与原分布的相似程度；

很多损失函数都是用交叉熵表示的，就是用自己求出的分布和原分布比较相似性，越小越好，其中含有的含义就是相似性。