交叉熵 信息量熵相对熵(KL散度)交叉熵softmax logits 深度学习源码中经常出现的logits其实和统计中定义的logit=log(p/1-p)(事件发生概率与不发生概率比值的对数)没什么太大关系,就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率,用于多分类