目录 交叉熵 熵/信息熵 相对熵/KL散度 交叉熵 对数损失函数 交叉熵和对数损失函数之间的关系 交叉熵 熵/信息熵 假设一个发送者想传输一个随机变量的值给接收者。这个过程中,他们传输的平均信息量为: 叫随机变量的熵,其中 把熵扩展到连续变量的概率分布,则熵变为 被称为微分熵。 在离散分布下,最大熵对应于变量的所有可能状态的均匀分布。 最