条件熵&信息增益

条件熵是指根据另一变量的值对原变量进行分类后,计算各子类的熵并加权求和,体现不确定性减少的程度。信息增益则是通过熵的减少来衡量新增信息对原有不确定性的影响,公式为H(Y,X) = H(X) - H(Y|X),其中H(Y|X)表示条件熵。" 111526673,10294357,Vue实现个人信息查看与密码修改,"['前端开发', 'Vue', '表单验证', 'Vuex', 'API接口']
摘要由CSDN通过智能技术生成

条件熵
其实条件熵意思是按一个新的变量的每个值对原变量进行分类,比如上面这个题把嫁与不嫁按帅,不帅分成了俩类。
然后在每一个小类里面,都计算一个小熵,然后每一个小熵乘以各个类别的概率,然后求和。
我们用另一个变量对原变量分类后,原变量的不确定性就会减小了,因为新增了X的信息,可以感受一下。不确定程度减少了多少就是信息的增益。
在这里插入图片描述
信息增益
H(Y,X) = H(X) - H(Y|X)
信息熵(香农熵经验熵)
熵(entropy)表示随机变量不确定性的度量,也就是熵越大,变量的不确定性就越大。设是一个有限值的离散随机变量,其概率分布为
在这里插入图片描述
则随机变量X的熵定义为:
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值