决策树——中文版

最新推荐文章于 2022-11-22 22:50:31 发布
最新推荐文章于 2022-11-22 22:50:31 发布
阅读量451 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loverminger/article/details/78038210
版权

决策树思路：

创建树：

获取所有样本的标签列表
如果 标签列表为同一个值：
    停止划分
如果 特征选择完毕：
    返回类别最多的标签，停止划分
选择最好的特征进行数据样本的分割，并且返回该特征的索引值：就是第几个特征-----------（1）
获取到最好特征的特征名字
创建以该名字为节点的树字典
在特征名称列表中将这个特征删除
获取最好特征在整体样本中的取值并且去重
遍历所有取值：
    获取剩余特征名字
    创建以每个值划分的数据集的树-------（2）

（1）选择最好特征并且返回特征索引：

获取数据集的特征的数量
计算整个数据集的信息熵   // H(D)
初始化信息增益和最好特征索引
遍历所有特征：
    该特征在数据集上所有取值并去重
    初始化新的信息熵
    遍历该特征在数据集上的取值：              // 选取该特征所取最好的值（按照此值进行切分的信息增益最大）进行数据的划分
        给定特征以及该值进行数据划分 ----------（2）
        计算在给定特征条件下的信息熵----（3） // H(D|A) = （数据切分后的个数 / 总的数据集的个数）* 数据切分后的信息熵
        计算信息增益
        如果 用该值分割数据的信息增益大于上一个值分割数据的信息增益：
            更新信息增益
            更新最好特征索引
返回最好特征索引

（2）按照给定值以及特征索引进行数据的切分

生成一个切分后的数据list
遍历所有样本：
    如果 该样本[特征索引] == 给定值
        获取该索引前面的值
        拼接上该索引后面的值，不包含该索引的值
        将分割后的数据添加到切分后的数据list
返回切分后的数据

（3）计算信息熵：

获取该样本的数量
初始化一个字典，用来统计
遍历所有样本：
    获取到该样本向量的最后面值
    如果 该值不在字典的key中：
        添加进去，并把值赋为0
    将字典中的key等于该值的值+1
初始化信息熵
遍历字典的key:
    获取当前key的概率（数量/总量）
    计算信息熵
返回信息熵
Biorad
关注
专栏目录
决策树
u012225754的博客
12-18 529
决策树其实原理上来说是比较简单的，估计很不好实现。。 决策树就是说对于训练集D和特征集合A，每一次从A中选取一个最优的特征用来划分集合D(选取最优的方法一般是通过信息增益或者信息增益比)，划分到D1,D2,D3... Dk之后，再次对于这些子集合进行特征选取，只不过这次是从A-Ag中选取，因为Ag已经在上次用过了。但是还是有几个地方需要注意的： ①特征集用完了 特征集合用完了，但是却还没有
决策树——中文可视化
bb_sy_w的博客
08-06 1365
官方中文文档 监督学习 回归 分类 决策树 这里我们采用sklearn的内置数据试验 from sklearn import tree import graphviz from sklearn import datasets #加载内置数据集 iris = datasets.load_iris() #实例化，采用哪种方法 clf = tree.DecisionTreeClassifier() #训练 clf.fit(iris.data,iris.target) #画出决策树 dot_data = t
《机器学习实战中文版》 决策树
kangxiatao的博客
10-23 110
决策树 1. 概述 构造树结构并按熵最小实现分类 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特 征数据。 缺点：可能会产生过度匹配问题。 适用数据类型：数值型和标称型 2. 实现 计算出香农熵 l(xi)=−log⁡2p(xi) l\left(x_{i}\right)=-\log _{2} p\left(x_{i}\right) l(xi​)=−log2​p(xi​) 得出距离最近的n个距离值 在最近n个距离值中找出最多的类别 该类别即待分类数据的类别 3. 总结
解决在matplotlib使用中文的问题
不系之舟的专栏-QQ讨论群331590339
09-12 1180
原生的matplotlib并不支持直接使用中文，而需要修改一下相应的文件，上网搜了下，找到一个最简洁的办法。NO.1找到matplotlibrc文件C:\Python26\Lib\site-packages\matplotlib\mpl-data\matplotlibrc(Windows)/usr/share/matplotlib/mpl-data/matplotlibrc (Linux)NO.2找
sklearn决策树模型机器学习参数解释很详细中文
studyvcmfc的专栏
04-26 223
https://blog.csdn.net/qq_16000815/article/details/80954039
Python决策树中文乱码解决
B_0928的博客
04-19 1791
解决python决策树可视化中文乱码问题
决策树——ID3算法
01-20
决策树是一种常用的人工智能和机器学习模型，用于分类和回归任务。ID3（Iterative Dichotomiser 3）算法是决策树构建的基础方法，由Ross Quinlan于1986年提出。ID3算法的核心思想是利用信息增益来选择最优属性，逐步...
机器学习算法——决策树——学习总结
BatFor的博客
08-25 730
决策树是一种基本的分类和回归方法。本次主要学习的分类方法的应用。 决策树是一种树结构，包含内部结点、叶子结点。可以认为是if-then规则的集合。内部结点表示一个特征或属性，每个内部结点的分支代表其具体的特征值或属性值。叶子结点表示一个具体的类。 熵 在讲解决策树构建之前，先讲一下熵的概念。熵用来描述一个集合的混乱程度（就和我们在化学中提到的一样）。在信息论与概率统计中，熵表示随机变量不确定性的度量。给定一个取有限个值的离散随机变量X，则X的熵为H(X)。 H(X)=−∑i=1npilog2pin表示X有n
决策树——剪枝处理
weixin_54881329的博客
11-22 2505
下面来看看是否要用脐部进行划分， 划分前：所有样本都在根节点，把该结点标记为叶结点，其类别标记为训练集中样本数量最多的类别，因此标记为 好瓜，然后用验证集对其性能评估，可以看出样本{4，5，8}被正确分类，其他被错误分类，因此精度为43.9%。接着考察结点 5，同样的操作，把以其为根节点的子树替换为叶结点，替换后的叶结点包含编号为{6,7,15}的训练样本，根据“多数原则”把该叶结点标记为“好瓜”，测试的决策树精度认仍为57.1%，所以不进行剪枝。因此，用 脐部 进行划分。
机器学习——决策树思维导图
11-26
机器学习——决策树思维导图 决策树是一种常用的机器学习算法，它能够对复杂的数据进行分类和预测。决策树思维导图是指通过将决策树的结构和流程可视化，以便更好地理解和应用决策树算法。 决策树的基本流程可以...
决策树——从理论到入手
weixin_51961968的博客
11-14 1071
决策树，从基本知识点到入手代码
决策树（python）
herry57的博客
06-23 1万+
目录一、分类决策树1.决策树的划分依据2.剪枝（对付"过拟合"的主要⼿段）3.案例（泰坦尼克号乘客⽣存预测） 4.利弊 二、回归决策树决策树思想的来源⾮常朴素，程序设计中的条件分⽀结构就是if-else结构。 在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分⽀过多，这时就可能 因训练样本学得"太好"了，以致于把训练集⾃身的⼀些特点当作所有数据都具有的⼀般性质⽽导致过拟合。因此，可通 过主动去掉⼀些分⽀来降低过拟合的⻛险。 决策树的图：案例...
决策树结果可视化中文乱码问题解决方案
木头VS星星
02-21 7162
问题描述：     因决策树可解释强，采用决策树来处理分类问题，在导出结果时，出现中文无法显示的问题（中文显示为框框）。这种情况是由于字体的原因导致的，解决方法如下： 1. 修改Graphviz配置文件     字体配置文件 fonts.conf 路径：C:\Program Files (x86)\Graphviz2.38\fonts     将 <dir>#FONTDIR...
graphviz画决策树图中文乱码问题解决
数据分析与数据挖掘
07-02 9788
1、修改graphviz配置文件 C:\Program Files\Graphviz2.38\fonts <dir>C:\WINDOWS\Fonts</dir> 更改为 <dir>~/.fonts</dir> 2、将决策树dot_data文件保存下来 def save_dot_data(model): from s...
问题：决策树tree.export_graphviz输出树中文显示为框框，无法正常解析
sinat_26566137的博客
05-07 6797
from sklearn import tree from sklearn.externals.six import StringIO dot_data = StringIO() tree.export_graphviz(model_clf, out_file=dot_data, # doctest: +SKIP ...
决策树（CART算法）针对中文文本分类
微电子学与固体电子学-俞驰
01-14 4445
改编自博客： http://blog.csdn.net/github_36326955/article/details/54891204 根据下面的参考了链接可知，sklearn中的决策树用的是CART算法 http://sofasofa.io/forum_main_post.php?postid=1000402& 做个笔记 代码按照1 2 3
简单Python决策树可视化实例
热门推荐
学苑新空
08-17 2万+
Python决策树可视化实现
决策树模型——鸢尾花分类 剪枝前后正确率
最新发布
01-03
决策树模型是一种常用的分类算法，可以用于鸢尾花分类。剪枝是为了解决过拟合问题而进行的一种策略。在剪枝之前和剪枝之后，我们可以通过交叉验证来评估模型的正确率。 下面是一个示例代码，演示了使用决策树模型对鸢尾花数据集进行分类，并比较了剪枝前后的正确率： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score # 加载鸢尾花数据集 iris = load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 构造决策树模型（剪枝前） clf_before_pruning = DecisionTreeClassifier() clf_before_pruning.fit(X_train, y_train) # 预测并计算剪枝前的正确率 y_pred_before_pruning = clf_before_pruning.predict(X_test) accuracy_before_pruning = accuracy_score(y_test, y_pred_before_pruning) # 构造决策树模型（剪枝后） clf_after_pruning = DecisionTreeClassifier(ccp_alpha=0.1) # ccp_alpha为剪枝参数 clf_after_pruning.fit(X_train, y_train) # 预测并计算剪枝后的正确率 y_pred_after_pruning = clf_after_pruning.predict(X_test) accuracy_after_pruning = accuracy_score(y_test, y_pred_after_pruning) print("剪枝前的正确率：", accuracy_before_pruning) print("剪枝后的正确率：", accuracy_after_pruning) ``` 运行以上代码，可以得到剪枝前和剪枝后的正确率。剪枝后的正确率可能会有所下降，但剪枝可以减少过拟合问题，提高模型的泛化能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值