信息熵的计算和选取最优列

熵是信息论中的一个基本概念，定义一个随机变量之上，用于对概率分布的随机性程度的度量，反映了一组数据所包含的信息量的大小。

对于离散型随机变量，假设取值有n种情况，熵定义为:
通信领域通常使用2为底，在机器学习中使用e为底，单位为奈特。

使用python计算:

def calEnt(dataSet):
    #选取y
    target = dataSet.iloc[:,-1]
    #计算y的各值的概率
    p_target = target.value_counts() / target.shape[0]
    #计算香农熵
    ent_p_target = (-p_target*np.log(p_target)).sum()
    return ent_p_target

对一个数据集进行切分，计算出父节点信息熵和子节点信息熵的差值，选取最大的差值的子节点。最后，根据该节点进行划分。

def best_split(dataSet):
    #计算X的信息熵
    child_entrpy = pd.concat([dataSet.groupby(by=col).apply(lambda x:calEnt(x)) for col in dataSet.columns[:-1]],axis = 1)
    #计算X的各值的权重
    child_weigh = dataSet.apply(lambda x : x.value_counts()/x.shape[0],axis = 0).iloc[:,:-1]
    #选取最佳列的序号
    X_id = (calEnt(dataSet) - pd.DataFrame(child_entrpy.values * child_weigh.values).fillna(0).sum(axis = 0)).idxmax()
    return X_id