信息熵公式: 本质是对不确定性的度量 事件越确定,得到的值越小。 相对熵公式: 在神经网络训练中,由于已知为固定值,故经常最小化交叉熵作为损失函数,即 详细讲解可了解https://www.bilibili.com/video/BV1TP41197Cj/?spm_id_from=333.337.search-card.all.click&vd_source=2079724dd8d1ae7a362e33b8cb653aff)