![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
老羊快跑
这个作者很懒,什么都没留下…
展开
-
机器学习数学基础——熵和条件熵
熵:如果一个随机变量X的可能取值为X={x1,x2,…xn},每种取值的概率为p(xi),那么这个随机事件的发生,能够给我们带来的信息量的期望(熵)是:信息熵其实是一个随机变量信息量的数学期望。条件熵:在X给定条件下,Y的条件概率分布的熵 对X的数学期望:由于是相对于X的数学期望,因此前面要乘以一个p(x)。举个例子:有如下一个数据集,我们问,在长相(帅与...原创 2020-04-25 21:27:56 · 820 阅读 · 0 评论 -
机器学习小知识:相对熵
相对熵又称互熵、交叉熵、KL散度、信息增益,是描述两个概率分布P和Q差异的一种方法,记为D(P||Q)。在信息论中,D(P||Q)表示当用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布。(P,Q越相似,相对熵越小)老羊快跑微信公众号、钉钉分享交流群如下。...原创 2020-04-25 16:39:50 · 983 阅读 · 0 评论