机器学习-个人理解信息熵、交叉熵、相对熵

信息熵是衡量完美参数的得分。
交叉熵是衡量非完美参数的得分。
相对熵是衡量完美参数与非完美参数之间的差。

以哈夫曼树为例：
如果按照哈夫曼规则编码，则编码长度往往会比自己瞎定义的编码短一些。
哈夫曼规则编码长度就是信息熵
自己瞎定义的编码长度就是交叉熵
自己瞎定义的编码长度-哈夫曼规则编码长度就是相对熵，即(交叉熵-信息熵)，注意正负。

公式参考：

---

相对熵

---

信息熵

---

交叉熵

---