机器学习-决策树

于 2024-10-08 22:20:31 发布
阅读量898 收藏 10
点赞数 13
文章标签： 机器学习 决策树 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42403632/article/details/142770861
版权 

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
plt.show()

决策树

from sklearn.tree import DecisionTreeClassifier

dt_clf = DecisionTreeClassifier(max_depth=2, criterion="entropy", random_state=42)
dt_clf.fit(X, y)

def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, cmap=custom_cmap)

plot_decision_boundary(dt_clf, axis=[0.5, 7.5, 0, 3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
plt.show()

非参数学习算法

可以解决分类问题

天然可以解决多分类问题

也可以解决回归问题

非常好的可解释性

信息熵

熵在信息论中代表 随机变量不确定度的度量

熵越大，数据的不确定性越高

熵越小，数据的不确定性越低

可视化

import numpy as np
import matplotlib.pyplot as plt
def entropy(p):
    return -p * np.log(p) - (1-p) * np.log(1-p)
x = np.linspace(0.01, 0.99, 200)
plt.plot(x, entropy(x))
plt.show()

使用信息熵寻找最优划分

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
from sklearn.tree import DecisionTreeClassifier

dt_clf = DecisionTreeClassifier(max_depth=2, criterion="entropy", random_state=42)
dt_clf.fit(X, y)

def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, cmap=custom_cmap)

plot_decision_boundary(dt_clf, axis=[0.5, 7.5, 0, 3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
plt.show()

模拟使用信息熵进行划分

def split(X, y, d, value):
    index_a = (X[:,d] <= value)
    index_b = (X[:,d] > value)
    return X[index_a], X[index_b], y[index_a], y[index_b]

from collections import Counter
from math import log

def entropy(y):
    counter = Counter(y)
    res = 0.0
    for num in counter.values():
        p = num / len(y)
        res += -p * log(p)
    return res

def try_split(X, y):
    
    best_entropy = float('inf')
    best_d, best_v = -1, -1
    for d in range(X.shape[1]):
        sorted_index = np.argsort(X[:,d])
        for i in range(1, len(X)):
            if X[sorted_index[i], d] != X[sorted_index[i-1], d]:
                v = (X[sorted_index[i], d] + X[sorted_index[i-1], d])/2
                X_l, X_r, y_l, y_r = split(X, y, d, v)
                p_l, p_r = len(X_l) / len(X), len(X_r) / len(X)
                e = p_l * entropy(y_l) + p_r * entropy(y_r)
                if e < best_entropy:
                    best_entropy, best_d, best_v = e, d, v
                
    return best_entropy, best_d, best_v

best_entropy, best_d, best_v = try_split(X, y)
print("best_entropy =", best_entropy)
print("best_d =", best_d)
print("best_v =", best_v)


X1_l, X1_r, y1_l, y1_r = split(X, y, best_d, best_v)


best_entropy2, best_d2, best_v2 = try_split(X1_r, y1_r)
print("best_entropy =", best_entropy2)
print("best_d =", best_d2)
print("best_v =", best_v2)


X2_l, X2_r, y2_l, y2_r = split(X1_r, y1_r, best_d2, best_v2)

基尼系数

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target

from sklearn.tree import DecisionTreeClassifier

dt_clf = DecisionTreeClassifier(max_depth=2, criterion="gini", random_state=42)
dt_clf.fit(X, y)

def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*200)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*200)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, cmap=custom_cmap)

plot_decision_boundary(dt_clf, axis=[0.5, 7.5, 0, 3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
plt.show()

模拟使用基尼系数划分

from collections import Counter
from math import log

def split(X, y, d, value):
    index_a = (X[:,d] <= value)
    index_b = (X[:,d] > value)
    return X[index_a], X[index_b], y[index_a], y[index_b]

def gini(y):
    counter = Counter(y)
    res = 1.0
    for num in counter.values():
        p = num / len(y)
        res -= p**2
    return res

def try_split(X, y):
    
    best_g = float('inf')
    best_d, best_v = -1, -1
    for d in range(X.shape[1]):
        sorted_index = np.argsort(X[:,d])
        for i in range(1, len(X)):
            if X[sorted_index[i], d] != X[sorted_index[i-1], d]:
                v = (X[sorted_index[i], d] + X[sorted_index[i-1], d])/2
                X_l, X_r, y_l, y_r = split(X, y, d, v)
                p_l, p_r = len(X_l) / len(X), len(X_r) / len(X)
                g = p_l * gini(y_l) + p_r * gini(y_r)
                if g < best_g:
                    best_g, best_d, best_v = g, d, v
                
    return best_g, best_d, best_v

best_g, best_d, best_v = try_split(X, y)
print("best_g =", best_g)
print("best_d =", best_d)
print("best_v =", best_v)


X1_l, X1_r, y1_l, y1_r = split(X, y, best_d, best_v)


best_g2, best_d2, best_v2 = try_split(X1_r, y1_r)
print("best_g =", best_g2)
print("best_d =", best_d2)
print("best_v =", best_v2)


X2_l, X2_r, y2_l, y2_r = split(X1_r, y1_r, best_d2, best_v2)

信息熵 vs 基尼系数

熵信息的计算比基尼系数稍慢

scikit-learn中默认为基尼系数

大多数时候二者没有特别的效果优劣

CART与决策树中的超参数

CART

Classification And Regression Tree

根据某一个维度d和某一个阈值v进行二分

scikit-learn的决策树实现:CART

ID3, C4.5, C5.0

复杂度

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets

X, y = datasets.make_moons(noise=0.25, random_state=666)

plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()


from sklearn.tree import DecisionTreeClassifier

dt_clf = DecisionTreeClassifier()
dt_clf.fit(X, y)

def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

plot_decision_boundary(dt_clf, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()


dt_clf2 = DecisionTreeClassifier(max_depth=2)
dt_clf2.fit(X, y)

plot_decision_boundary(dt_clf2, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()


dt_clf3 = DecisionTreeClassifier(min_samples_split=10)
dt_clf3.fit(X, y)

plot_decision_boundary(dt_clf3, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()


dt_clf4 = DecisionTreeClassifier(min_samples_leaf=6)
dt_clf4.fit(X, y)

plot_decision_boundary(dt_clf4, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()


dt_clf5 = DecisionTreeClassifier(max_leaf_nodes=4)
dt_clf5.fit(X, y)

plot_decision_boundary(dt_clf5, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

min_samples_split

min_samples leaf

min_weight fraction leaf

max depth

max leaf nodesmin features

http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier

决策树解决回归问题

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets

boston = datasets.load_boston()
X = boston.data
y = boston.target

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)

from sklearn.tree import DecisionTreeRegressor

dt_reg = DecisionTreeRegressor()
dt_reg.fit(X_train, y_train)

模型复杂度曲线

决策树的局限性

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target

from sklearn.tree import DecisionTreeClassifier

tree_clf = DecisionTreeClassifier(max_depth=2, criterion="entropy", random_state=42)
tree_clf.fit(X, y)

def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*200)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*200)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

plot_decision_boundary(tree_clf, axis=[0.5, 7.5, 0, 3])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.scatter(X[y==2,0], X[y==2,1])
plt.show()


X_new = np.delete(X, 106, axis=0)
y_new = np.delete(y, 106)

tree_clf2 = DecisionTreeClassifier(max_depth=2, criterion="entropy", random_state=42)
tree_clf2.fit(X_new, y_new)

plot_decision_boundary(tree_clf2, axis=[0.5, 7.5, 0, 3])
plt.scatter(X_new[y_new==0,0], X_new[y_new==0,1])
plt.scatter(X_new[y_new==1,0], X_new[y_new==1,1])
plt.scatter(X_new[y_new==2,0], X_new[y_new==2,1])
plt.show()

小旺不正经
关注
Python从0到100（五十三）：机器学习-决策树及决策树分类器
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
08-21 3万+
决策树是⼀种常⽤的监督学习算法，⽤于解决分类和回归问题。它的基本原理是根据数据的特征来构建⼀颗树状结构，决策树的⽬标是通过分裂特征，将数据集划分为纯度更⾼的⼦集，以最⼩化误差或不纯度。
机器学习--决策树
jimei2011的博客
11-14 1286
机器学习-决策树
机器学习-决策树算法
LI_dreamit的博客
09-12 2947
概念： 是一种树形结构，本质是一颗由多个判断节点组成的树 其中每个内部节点表示一个属性上的判断， 每个分支代表一个判断结果的输出， 最后每个叶节点代表一种分类结果。 通过分析可知： 决策树是非参数学习算法 决策树可以解决分类问题 决策树天然可以解决多分类问题 决策树可以解决回归问题：落在叶子节点(对应图中的A、B、C三点)的数据的平均值作为回归的结果 决策树可以应用于信用卡评级的案例中,生成相应的分类规则。 1、熵 定义 熵在信息论中代表随机变量不确定度的度量。 熵越大，数据
机器学习——决策树
m0_55818687的博客
10-02 1842
机器学习——决策树
机器学习 - 决策树
weixin_47552266的博客
05-12 1619
决策树是一种监督学习算法，主要用于分类和回归任务。它通过学习从数据特征到输出标签的映射规则，构建一个树形结构。在分类问题中，决策树的每个叶节点代表一个类别。剪枝是决策树学习算法中的一种技术，用于减少树的大小，从而控制模型的复杂度和过拟合现象。剪枝可以分为两种主要类型：预剪枝（Pre-pruning）和后剪枝（Post-pruning）。集成学习是一种强大的机器学习范式，它通过结合多个模型来提高预测性能，通常能够比任何一个单独的模型表现得更好。在决策树的上下文中，常见的集成方法包括随机森林和梯度提升树。
头歌机器学习---决策树
热门推荐
liiuyizeliuyize的博客
05-07 1万+
头歌机器学习---决策树
机器学习-决策树（python）
qq_56424896的博客
11-14 2954
决策树(Decision Tree）是在已知各种情况发生概率的上，通过构成决策树来求取净现值的值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法,和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
【机器学习 - 决策树】信息增益
weixin_44211968的博客
07-11 2159
本文解释了决策树模型中用到的信息增益的概念
python-机器学习-决策树深度影响分析
weixin_35830789的博客
01-07 1367
python-机器学习-决策树深度影响 本文是python-机器学习系列第三篇，对决策数深度影响分析 此次的决策树算法是引用我上一篇决策树算法 链接：python-机器学习-决策树算法 代码如下： # -*- coding:utf-8 -*- import numpy as np import matplotlib.pyplot as plt from sklearn.tree import DecisionTreeRegressor import DecisionTree as de if __name
人工智能-机器学习-决策树-决策树分类（ID3，C4.5，CART）
07-09
决策树分类（ID3，C4.5，CART） 三种算法的区别如下： (1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的； (2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率...
机器学习-决策树 -ppt.pdf
07-03
机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习-决策树 -ppt.pdf机器学习...
2 机器学习-决策树学习.pptx
09-23
"机器学习-决策树学习" 决策树学习是一种机器学习算法，用于分类和回归问题。决策树学习可以表示任意离散函数和离散特征，可以将实例分到多个分类，输出可以是离散的分类，也可以是实数（回归树）。决策树学习可以...
机器学习-决策树-实现源码
11-02
带着读者通过Python语言手写简化版实现决策树绘制。 适合人群：零基础或者具备一定编程基础，对机器学习有一定的了解。...可以学到机器学习决策树的原理，如何利用cart决策树实现决策树绘制，完成分类效果。
机器学习-决策树（以西瓜数据集为例）
03-30
决策树是一种广泛应用于机器学习领域的算法，它通过创建分层的决策模型来预测目标变量。在本案例中，我们将深入探讨如何使用决策树处理“西瓜数据集”。这个数据集是用于教学目的的理想选择，因为它包含了多个特征，...
第十五周：机器学习笔记
最新发布
Zcymatics的博客
10-05 931
本周周报在机器学习的理论内容中，详细描述了attention matrix计算的各种优化形式，其中包括用人类自身的理解而诞生的Local Attention、Stride Attention、Global Attention、Clustering，也有通过机器自身通过学习而诞生Sinkhorn Sorting Network，最后还有简化attention matrix格式的Linformer。此外，周报在Pytorch学习中还补充了模型训练的细节和描述了如何利用GPU训练的过程。最后，在数学拓展部分，对s
【AI知识点】泛化（Generalization）与过拟合（Overfitting）
虾米记的博客
10-03 789
泛化（generalization） 是机器学习中的一个核心概念，指的是模型在训练数据之外的新数据上表现得如何。换句话说，泛化能力衡量的是模型能否在未见过的样本上做出正确的预测或推断。
【机器学习】集成学习——提升模型准确度的秘密武器
擅长将自己的感受、想法、知识通俗地表达出来，会点前后端开发、自动化测试、性能测试、爬虫。将来可能学硬件、AI。但一定会写实用的脚本。
10-03 2758
集成学习（Ensemble Learning）是一种通过结合多个弱模型来提升整体预测准确性的技术。通过将多个模型的预测结果进行组合，集成学习在复杂任务中展现了极强的泛化能力。本文将探讨集成学习的主要方法，并通过代码示例演示如何应用这些方法来提升模型表现。
人工智能之机器学习
weixin_50229673的博客
10-01 1132
在1956年众多科学家相聚一起共同探讨并展望未来的科技.首次提出"人工智能"这个专业名词,这一年也被称为人工智能元年......
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小旺不正经

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值