weixin_43181523的博客

原创 关于在机器学习中交叉熵和相对熵的问题

关于在机器学习中交叉熵和相对熵的问题记录一下在学习当中的问题和解决结果。在学到神经网络时，通常的损失函数都由交叉熵来描述，如下：cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y)))但通常情况下，在机器学习中相对熵是可以替换交叉熵的。具体解释看链接: 如何通俗的解释交叉熵与相对熵?我就想既然通常“相对熵”也可称为“交...