![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习的学习笔记
文章平均质量分 94
希望工作之后也能保持学习的热情。
导航犬乖乖
这个作者很懒,什么都没留下…
展开
-
条件熵➡️信息增益
概率论中用条件概率描述非独立事件受其他事件影响下的概率分布,同样地,条件熵描述了在已知其他随机事件结果的条件下非独立事件的不确定性;“已知其他随机事件结果”这一条件降低了非独立事件的不确定性,我们用信息增益来描述这一影响的影响程度。原创 2023-11-27 20:18:04 · 821 阅读 · 0 评论 -
信息➡️信息量➡️信息熵
随机事件每次发生结果具有不确定性,信息是消除这种不确定性的东西;我们用信息对应事件的发生概率来衡量信息量,信息量函数底数的不同取值代表了信息量的不同单位。为了衡量随机事件的不确定性,我们用信息熵衡量确定随机事件每次发生结果所需要的期望信息量。原创 2023-11-25 21:44:26 · 925 阅读 · 0 评论