[机器学习实战] 阅读第六章

决策树

决策树模型：https://blog.csdn.net/az9996/article/details/86555029

CRAT 训练算法

公式6-2：CART分类成本函数

基尼不纯度、信息熵

默认使用的是基尼不纯度来进行测量，但是，你可以将超参数criterion设置为"entropy"来选择信息熵作为不纯度的测量方式。熵的概念源于热力学，是一种分子混乱程度的度量：如果分子保持静止和良序，则熵接近于零。后来这个概念传播到各个领域，其中包括香农的信息理论，它衡量的是一条信息的平均信息内容：[1]如果所有的信息都相同，则熵为零。在机器学习中，它也经常被用作一种不纯度的测量方式：如果数据集中仅包含一个类别的实例，其熵为零。公式6-3显示了第i个节点的熵值的计算方式。

公式6-3：信息熵

回归

公式6-4：CART回归成本函数