机器学习--基础算法--决策树

最新推荐文章于 2022-12-04 22:36:51 发布

Mr_Wang0120

最新推荐文章于 2022-12-04 22:36:51 发布

阅读量265

点赞数

分类专栏：机器学习--基础算法文章标签：决策树算法机器学习 python 深度学习

本文链接：https://blog.csdn.net/Mr_Wang0120/article/details/106154197

版权

本文介绍了决策树的基本概念，包括其作为非参数学习算法在分类和回归问题中的应用，以及决策树的可解释性。讨论了信息熵的概念，用于衡量数据的不确定性，并解释了基尼系数在决策树分裂过程中的作用。此外，还探讨了CART算法和决策树的超参数调整，通过实验展示了不同参数设置对模型性能的影响。

摘要由CSDN通过智能技术生成

1 什么是决策树

使用决策树对鸢尾花数据集进行分类：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()
x = iris.data
y = iris.target
x = x[:, 2:]

plt.scatter(x[y == 0, 0], x[y == 0, 1])
plt.scatter(x[y == 1, 0], x[y == 1, 1])
plt.scatter(x[y == 2, 0], x[y == 2, 1])
plt.show()

输出：
在这里插入图片描述

from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier(max_depth=2, criterion='entropy')
dt_clf.fit(x, y)
>>>DecisionTreeClassifier(class_weight=None, criterion='entropy', max_depth=2,
                       max_features=None, max_leaf_nodes=None,
                       min_impurity_decrease=0.0, min_impurity_split=None,
                       min_samples_leaf=1, min_samples_split=2,
                       min_weight_fraction_leaf=0.0, presort=False,
                       random_state=None, splitter='best')

# 决策边界绘制函数
def plot_decision_boundary(model, axis):
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).</