Python实现计算信息增益的香农熵

最新推荐文章于 2023-12-22 12:33:18 发布

杨鑫newlfe

最新推荐文章于 2023-12-22 12:33:18 发布

阅读量2.7k

点赞数

分类专栏： Machine Learning 文章标签： Python 香农墒信息增益决策树

本文链接：https://blog.csdn.net/u012965373/article/details/83117940

版权

Machine Learning 专栏收录该内容

64 篇文章 1295 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍如何使用Python实现香农熵的概念，以及在决策树中计算信息增益的过程。通过理解香农熵，我们可以更好地评估数据集的纯度，并在构建决策树时确定最佳特征。

摘要由CSDN通过智能技术生成

香农熵公式：

# -*- coding:utf-8 -*-
import math
__author__ = 'yangxin'

"""
一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，
就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。
所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。

"""


class ShannonEntropy(object):

    # 计算给定数据集的香农墒的函数
    def calc_shannon_ent(self, data_set):
        # 求list的长度，表示计算参与训练的数据量
        num_entries = len(data_set)
        # 计算分类标签label出现的次数
        label_counts = {}
        # the number of unique elements and their occurance
        for featVe

了解本专栏