from sklearn.tree 决策树的基础知识

最新推荐文章于 2023-01-15 19:52:26 发布
最新推荐文章于 2023-01-15 19:52:26 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： 机器学习算法基础 文章标签： 决策树 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47611703/article/details/115191413
版权

N~B轰轰的导包

from sklearn.tree import DecisionTreeRegressor #回归
from sklearn.tree import DecisionTreeClassifier #分类

实现的算法基础

  • ID3的优缺点:
    优点: 原理简单.
    缺点: 1. 存在大量对数运算, 对计算机不太友好. 2. 会存在优先对比较离散的特征进行划分的毛病,容易造成误差.

  • C4.5算法: 是对ID3的改进算法. 改进了缺点中的第二点.
    C4.5在ID3计算信息增益的基础上除上特征本身的信息熵, 变成信息增益率.

  • CART : 分类和回归树

  • CART: Classification and Regression Tree 分类和回归树
    计算基尼不纯度: gini impurity
    基尼系数和信息熵表达的含义相似: 越大代表不确定性越大, 越小越确定. 但是范围是在0到1之间.
    ID3和C4.5只能做分类问题. CART可以做回归树.CART的树是二叉树,

api

api

  • class sklearn.tree.DecisionTreeClassifier(criterion=‘gini’, max_depth=None,random_state=None)
    决策树分类器
    criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
    max_depth:数的深度大小
    random_state:随机数种子
    method:
    decision_path:返回决策树的路径
  • 决策树的八个参数：Criterion，两个随机性相关的参数(random_state，splitter)，五个剪枝参数(max_depth，min_samples_split，min_samples_leaf，max_feature，min_impurity_decrease)
  • 一个属性：feature_importances_
  • 四个接口：fit，score，apply，predict。
  • apply中输入测试集返回每个测试样本所在的叶子节点的索引，predict输入测试集返回每个测试样本的标签。返回的内容一目了然。

决策树的结构,本地保存

  • 1.tree.export_graphviz() 改函数能够导出DOT格式(二进制)

    estimator = DecisionTreeClassifier()
    tree.export_graphviz(estimator,out_file=‘tree.dot’,feature_names=[“年龄”,“性别”,“爱好”,…])
    estimator:估计器
    out_file:文件路径名字
    feature_names:划分树的名字

  • 2.工具:(能够将dot文件转换为pdf,png)
    安装 graphviz
    ubuntu:sudo apt-get install graphviz

  • 3.运行命令
    dot -Tpng tree.dot -o tree.png

决策树优缺点以及改进

  • 优点:
    简单的理解和解释,树木可视化
    需要很少的数据准备,其他技术通常需要数据归一化

    ​ 计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。既能用于分类，也能用于回归

  • 缺点:
    决策树学习者可以创建不能很好地推广数据过于复杂的数
    这被称为过拟合

  • 改进:
    减枝cart算法(决策树API 当中已经实现,随机森林参数调优有关介绍)
    随机森林

注意:企业重要决策,由于决策树很好的分析能力,在决策过程应用较多

在这里插入图片描述

全村的唯一希望
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sklearn库学习------决策树(回归树DecisionTreeRegressor)
weixin_43776305的博客
05-15 6888
重要参数、属性及接口 回归树几乎所有参数、属性、接口都和分类树一样。需要注意的是在回归树中没有标签分布是否均衡的问题，因此回归树没有class_weight参数 criterion：回归树衡量分支质量的指标，有三种标准 输入＂mse＂使用均方误差mean squared error（MSE），父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失 输入＂friedman＿mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的
sklearn专题一：决策树
Colorfully_lu的博客
12-10 5316
sklearn之train_test_split()函数各参数含义 在机器学习中，我们通常将原始数据按照比例分割为“测试集”和“训练集”， 从 sklearn.model_selection 中调用train_test_split 函数 简单用法如下： X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_stat.
Python 机器学习5：sklearn 决策树、随机森林
Amzmks的博客
07-21 1295
1. 决策树 决策树思想的来源非常朴素，程序设计中的条件分支结构（即if-else结构）。最早的决策树就是利用这类结构分割数据的一种分类学习方法。 from sklearn.tree import DecisionTreeClassifier 信息熵：信源的不确定度。信息是用来消除不确定性的。 H为信息熵，单位为比特；P(x)为x的概率。 信息增益：当得知一个特征条件之后，减少的信息熵的大小。 特征A对训练数据集D的信息增益g(D,A)的定义为集合D的信息熵H(D)与特征A给定条件下D的信
机器学习（8）sklearn画决策树（回归树）
人工智能小白
08-23 2372
决策树中的回归树
活用西瓜书——sklearn包中的决策树算法DecisionTreeClassifier的使用（决策/回归树）
baidu_38406307的博客
11-03 2910
引言 最近在读西瓜书，查阅了多方资料，恶补了数值代数、统计概率和线代，总算是勉强看懂了西瓜书中的公式推导。但是知道了公式以后还是要学会应用的，几经摸索发现python下的sklearn包把机器学习中经典的算法都封装好了，因此，打算写几篇博客记录一下sklearn包下的常用学习算法的使用，防止自己以后忘了，嘿嘿。 1.决策树 决策树是一种常见的机器学习算法，它的原理就是以事物的属性为节点，属性的不同...
DT.zip_sklearn_sklearn分类_决策树算法用于分类
09-23
from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载数据，假设已有的数据集data X, y = data[:, :-1], ...
sklearn之决策树
12-21
**sklearn决策树详解** **一、sklearn与决策树** `sklearn`，全称为scikit-learn，是Python编程语言中一个广泛使用的开源机器学习库。它依赖于NumPy、SciPy和Matplotlib等库，提供了一整套高效且易用的机器学习...
DCT.rar_dct_sklearn_决策树
07-13
- 在sklearn中，决策树的实现主要集中在`tree`模块，包括`DecisionTreeClassifier`（分类任务）和`DecisionTreeRegressor`（回归任务）。 3. **使用sklearn训练决策树**： - 首先，需要加载数据集，这通常涉及...
python使用sklearn实现决策树的方法示例
09-18
在Python的机器学习领域，`sklearn`库是不可或缺的一部分，它提供了丰富的算法，包括决策树。本示例将详细讲解如何使用`sklearn`库中的`DecisionTreeClassifier`类来构建决策树模型。 首先，确保你有一个合适的开发...
sklearn决策树分类案列
08-11
这个`decisiontree_classifier.py`脚本将执行上述所有步骤，展示如何利用`sklearn`库实现决策树分类器并应用到鸢尾花数据集上。决策树的工作原理是通过不断地根据特征值划分数据，构建出一个能够最大化类别纯度的...
决策树回归DecisionTreeRegressor
12-17
理解DecisionTreeRegressor的原理，并编程实践。python语言编写。机器学习实验二。附有实验报告，
机器学习笔记（通俗易懂）---决策树算法介绍(6)---附完整代码
ntntg的博客
03-02 1333
机器学习笔记—决策树算法介绍(6)—附完整代码 以下都是本人在学习机器学习过程中的一些心得和笔记，仅供参考。 文章目录机器学习笔记---决策树算法介绍(6)---附完整代码1.构造决策树2.控制决策树的复杂度3.分析决策树4.树的特征重要性5.优缺点和参数5.优缺点和参数 决策树是广泛用于分类和回归任务的模型。本质上，它从一层层的if/else问题中进行学习，并且得出结论！ 如果你要区分四种动物：熊、鹰、企鹅和海豚，可以转换成一颗决策树来表示。 mglearn.plots.plot_animal_tr
sklearn学习-回归树
weixin_42856170的博客
01-15 564
sklearn学习-回归树
sklearn实战01：决策树
weixin_40313252的博客
11-16 1072
1 模块sklearn.tree的使用 1.1 模块介绍 1.2 使用流程 from sklearn import tree #导入需要的模块 clf = tree.DecisionTreeClassifier() #实例化 clf = clf.fit(X_train,y_train) #用训练集数据训练模型 result = clf.score(X_test,y_test) #导入测试集，从接口中调用需要的信息 2 重要参数 2.1 criterion Criterion这个参数正是用来决
【Python机器学习】——决策树DecisionTreeClassifier详解
热门推荐
小猪课堂的博客
02-26 4万+
DecisionTreeClassifier决策树分类器 我们先来调用包sklearn 中的tree我们一点一点学sklearn from sklearn import tree 有人愿意产看源代码可以看下面哈，我觉得来这搜的都不愿意看，我们理论懂就好了，然后用起来 clf=tree.DecisionTreeClassifier() clf 我们一点一点分解DecisionTreeClass...
用sklearn模块函数进行基于决策树算法的乳腺癌分类，并进行决策树的可视化
tuweibazong的博客
10-21 2074
使用sklearn模块中的决策树模型对乳腺癌的数据集进行分类，并进行决策树的可视化。
sklearn入门——决策树在sklearn中的实现_实例2
weixin_47830503的博客
07-04 253
sklearn入门——决策树在sklearn中的实现_实例2 1、 导入所需要的库 import pandas as pd from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.model_selection import GridSearchCV from sklearn.model_selection import cross_va
sklearn笔记17决策树的使用
weixin_44632711的博客
11-02 214
import numpy as np from sklearn.tree import DecisionTreeClassifier from sklearn import datasets import matplotlib.pyplot as plt %matplotlib inline from sklearn import tree
SK-Learn之决策树
白发空垂三千丈
04-20 144
引入相关模块 from sklearn.tree import DecisionTreeClassifier#决策树模型 import matplotlib.pyplot as plt#用于显示决策树 from sklearn.tree import plot_tree#用于显示决策树 import pandas as pd#用于读写数据 加载数据 iris=pd.read_csv('iris.csv')#读取文件 X=iris[['sepal_length','sepal_width']]#提取自变量
在Python中想运行from sklearn.model_selection import train_test_split from sklearn.decomposition import PCA import pandas as pd from sklearn import svm import numpy as np import math import matplotlib.pyplot as plt import matplotlib as mpl from matplotlib import colors from sklearn.model_selection import train_test_split from sklearn import datasets from matplotlib.colors import ListedColormap from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.model_selection import StratifiedShuffleSplit,StratifiedKFold from sklearn.model_selection import GridSearchCV from sklearn.model_selection import GridSearchCV, LeaveOneOut, cross_val_predict from sklearn.model_selection import KFold from sklearn.linear_model import LogisticRegression from sklearn.naive_bayes import GaussianNB from sklearn.neighbors import KNeighborsClassifier from sklearn import svm from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_auc_score from sklearn.metrics import roc_auc_score import math import datetime import multiprocessing as mp from sklearn.ensemble import StackingClassifier from sklearn.pipeline import make_pipeline from sklearn.svm import LinearSVC import random怎么操作
最新发布
07-12
要在Python中运行这些代码，你需要确保已经安装了相应的包。大多数包都可以使用`pip`进行安装。 首先，在命令行中运行以下命令来安装所需的包： ```bash pip install scikit-learn pandas matplotlib numpy ``` 然后，在你的Python脚本中导入所需的库： ```python from sklearn.model_selection import train_test_split from sklearn.decomposition import PCA import pandas as pd from sklearn import svm import numpy as np import math import matplotlib.pyplot as plt import matplotlib as mpl from matplotlib import colors from sklearn.model_selection import train_test_split from sklearn import datasets from matplotlib.colors import ListedColormap from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.model_selection import StratifiedShuffleSplit, StratifiedKFold from sklearn.model_selection import GridSearchCV from sklearn.model_selection import GridSearchCV, LeaveOneOut, cross_val_predict from sklearn.model_selection import KFold from sklearn.linear_model import LogisticRegression from sklearn.naive_bayes import GaussianNB from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_auc_score import datetime import multiprocessing as mp from sklearn.ensemble import StackingClassifier from sklearn.pipeline import make_pipeline from sklearn.svm import LinearSVC import random ``` 请确保在运行这些代码之前，已经安装了所需的Python库。如果遇到任何问题，请确保已正确安装这些库，并且版本与代码兼容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值