条件熵
其实条件熵意思是按一个新的变量的每个值对原变量进行分类,比如上面这个题把嫁与不嫁按帅,不帅分成了俩类。
然后在每一个小类里面,都计算一个小熵,然后每一个小熵乘以各个类别的概率,然后求和。
我们用另一个变量对原变量分类后,原变量的不确定性就会减小了,因为新增了X的信息,可以感受一下。不确定程度减少了多少就是信息的增益。
信息增益
H(Y,X) = H(X) - H(Y|X)
信息熵(香农熵经验熵)
熵(entropy)表示随机变量不确定性的度量,也就是熵越大,变量的不确定性就越大。设是一个有限值的离散随机变量,其概率分布为
则随机变量X的熵定义为:
条件熵&信息增益
最新推荐文章于 2024-09-09 17:46:50 发布
条件熵是指根据另一变量的值对原变量进行分类后,计算各子类的熵并加权求和,体现不确定性减少的程度。信息增益则是通过熵的减少来衡量新增信息对原有不确定性的影响,公式为H(Y,X) = H(X) - H(Y|X),其中H(Y|X)表示条件熵。"
111526673,10294357,Vue实现个人信息查看与密码修改,"['前端开发', 'Vue', '表单验证', 'Vuex', 'API接口']
摘要由CSDN通过智能技术生成