学习笔记（2):Python数据分析与挖掘-怎样构建一颗决策树?（四）

立即学习:https://edu.csdn.net/course/play/6861/326787?utm_source=blogtoedu

实际运用中，会将概率pk的值用频率来表示。

条件熵：在已知两个自变量的情况下，去计算影响那个 y  变量的条件熵，有多少种组合就求多少次合项。

信息增益：因变量y的所有可能的信息熵和条件熵作差。 

在根节点或者中间节点的变量选择过程中，挑选各自变量下因变量的信息增益最大的。

信息增益率：为了克服信息增益指标的缺点，提出了信息增益率的概念，就是在信息增益的基础上进行相应的惩罚 ，选取节点的增益率大的作为节点。

基尼指数：解决连续的型因变量，提出CART算法，分类回归树，既可以做分类也可以做回归。