m0_37935211的博客

原创 【深度学习笔记】初步理解交叉熵（Cross Entropy）

交叉熵是信息论中的一个重要概念，用于衡量两个概率分布之间的差异。在机器学习中常用作损失函数。本文主要参考《Visual Information Theory》,结合本科课程学习过的《通信原理》,希望能较为直观地初步理解交叉熵概念一、何为熵    熵可以理解为通信中的最短平均码长。作者假想了一个人叫Bob,Bob和作者通信，只使用四个单词："dog"、“cat”、“fish”、"bird”。这四个单...