。

转载 （转）详解机器学习中的熵、条件熵、相对熵和交叉熵

原文https://www.cnblogs.com/kyrieng/p/8694705.html 目录 信息熵 条件熵 相对熵 交叉熵 总结 1、信息熵(information entropy) 熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (inf...