- 博客(2)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 机器学习数学基础——熵和条件熵
熵：如果一个随机变量X的可能取值为X={x1,x2,…xn},每种取值的概率为p(xi),那么这个随机事件的发生，能够给我们带来的信息量的期望（熵）是：信息熵其实是一个随机变量信息量的数学期望。条件熵：在X给定条件下，Y的条件概率分布的熵 对X的数学期望：由于是相对于X的数学期望，因此前面要乘以一个p(x)。举个例子：有如下一个数据集，我们问，在长相（帅与...
2020-04-25 21:27:56
839
原创 机器学习小知识：相对熵
相对熵又称互熵、交叉熵、KL散度、信息增益，是描述两个概率分布P和Q差异的一种方法，记为D(P||Q)。在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。（P,Q越相似，相对熵越小）老羊快跑微信公众号、钉钉分享交流群如下。...
2020-04-25 16:39:50
1009
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人