交叉熵的理解：理解交叉熵的时候勿引入熵的概念来理解

结论

理解交叉熵的时候勿引入熵的概念来理解

原因

每当我试图交叉熵的时候，网上找的科普文章都会引入熵的概念，说要从熵的概念入手，然后感觉自己更加迷茫了。
然后一堆名词就过来了，如信息量、熵、概率、相对熵、交叉熵等等

理解

但是其实完全不用管它，不用管熵这个概念，直接损失函数的目的出发。
损失函数是寻找预测的标签与真实标签的差异，均方误差（MSE）、均方根误差（RMSE）、MAE(平均绝对误差)都是为了这一个目的。
而交叉熵的log，也能实现这一目的。

从log出发，log是求指数，那么将预测标签看成底数，真实标签看成真数，则差异为对数。

底数、对数、真数：如果 ，即a的x次方等于N（a>0，且a≠1），那么数x叫做以a为底N的对数（logarithm），记作。其中，a叫做对数的底数，N叫做真数，x叫做“以a为底N的对数”。

例如

from keras.losses import binary_crossentropy
import numpy as np
import keras.backend as K
y1 = K.constant(np.array([2]))#K.constant将ndarray(numpy数据格式转为Keras需要的格式；np.array：将列表转为numpy数组的格式。
print(np.array([2,2,2,2,2,2]))
y2 = K.constant(np.array([2]))
y3 = K.constant(np.array([4]))
y4 = K.constant(np.array([8]))
print(K.eval(binary_crossentropy(y2,y1)))#K.eval：将kera计算的张量转为可见的值。
print(K.eval(binary_crossentropy(y3,y1)))
print(K.eval(binary_crossentropy(y4,y1)))

输出为

误差为增大趋势。
所以，直接从最简单的结论进行理解，可能更快理解一些。

熵的理解

不需要熵这个概念，反而可以更简便的理解交叉熵。那么运用熵这个概率怎么简单解释交叉熵呢？
熵：就是与常识的背离程度，熵越大，与常识越背离。例如：常识：太阳是东升西落的，现在的结论是太阳西升东落，熵大。
预测标签与真实标签代入：常识就是预测标签，熵的大小就是预测标签与真实标签的大小。交叉熵使用的log就体现了这一点。