一文读懂交叉熵(Cross-Entropy)和相对熵(Relative-Entropy)
提到机器学习,就不得不提损失函数,提到损失函数,就不得不提交叉熵。
本文章将对这个概念进行详细的分析。
1、信息量
信息量是对事件发生概率的度量,一个事件发生的概率越低,则这个事件包含的信息量越大,这跟我们直观上的认知也是吻合的,越稀奇新闻包含的信息量越大,因为这种新闻出现的概率低。
对于随机变量 XXX,事件X=x0X=x_0X=x0的信息量定义为:
I(x0)=−log(p(x0))
I(x...
原创
2019-02-27 10:48:01 ·
1719 阅读 ·
0 评论