[概念]交叉熵

参考：https://blog.csdn.net/tsyccnh/article/details/79163834

参考：https://blog.csdn.net/zxyhhjs2017/article/details/78619756?utm_source=blogkpcl1

参考：

1.信息量：一个离散型随机变量，其中某个事件发生的概率越低，信息量越大。

2.熵：信息量的期望。

 

3.KL散度：描述两个概率分布的相似程度。

4.交叉熵：KL散度计算公式的后半部分

5.机器学习中：p是标准的分布，q是网络进行训练时得到的分布。用交叉熵作为loss函数处理逻辑分类问题。

单分类（图像中的物体A是{a,b,c}中的一种）：直接计算。

多分类（图像中有多个物体，计算是否有a，是否有b，是否有c）：n-hot编码，每一位是二项分布，用sigmoid