机器学习-树模型

最新推荐文章于 2024-06-07 18:35:07 发布
最新推荐文章于 2024-06-07 18:35:07 发布
阅读量926 收藏
点赞数
分类专栏： 机器学习 文章标签： 决策树 机器学习 信息熵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41741485/article/details/104627505
版权

树模型（分类或回归）

决策树

树的基本结构树的结构

示例
在这里插入图片描述
在这里插入图片描述定义
决策树在分类问题中，表示基于特征对实例空间进行划分的方法。可以视为if-then规则的集合，也可以认为是定义在特征空间和类空间上的条件概率分布。

步骤

  • 特征选择
    决定选取哪些特征来划分特征空间。
    先引入信息论概念：信息增益
    熵、条件概率、信息增益在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    对信息增益进行特征选择
    选取信息增益最大的特征
    在这里插入图片描述
    在这里插入图片描述
    特征的信息增益算法
  • 计算数据集D的熵
    在这里插入图片描述
  • 计算特征的条件熵
    在这里插入图片描述
  • 计算特征的信息增益
    在这里插入图片描述
    ！！！这样的算法特性倾向于选择特征离散量较多的特征，但实际往往是由于特征很多而把y分的很细，因而就有了信息增益比修正算法

信息增益比修正算法

  • 计算数据集D关于特征的熵
    在这里插入图片描述
  • 计算特征的信息增益比
    在这里插入图片描述
  • 决策树生成
    ID3
    基于信息增益特征选择在这里插入图片描述
    C4.5
    C4.5算法即将ID3中特征选择算法由信息增益替换为信息增益比

过拟合问题
往往树的规模越大，在模型训练中的拟合效果虽然会更好，但模型的泛化能力会下降，因此需要对决策树进行剪枝。

  • 决策树剪枝
    极小化决策树整体的损失函数或代价函数
    函数定义
    在这里插入图片描述
    在这里插入图片描述
    混淆矩阵
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述分类回归树CIRT
    假设决策树是二叉树形式，一次特征只能将数据集分为两个类别。

决策树优点

  • 不需要任何领域知识或参数假设
  • 适合高维数据
  • 简单易于理解
  • 短时间内处理大量数据，得到可行且效果较好的结果

决策树缺点

  • 对于各类别样本数量不一致的数据，信息增益偏向于那些具有更多数值的特征
  • 容易过拟合，特别是在特征多的情况下，易引入噪声特征
  • 忽略属性间的相关性
  • 不支持在线学习
amorfatilily
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习——第五章：树模型
qq_36165148的博客
04-21 649
本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。 树模型是机器学习中最为常见的模型之一。树模型具有较强的表示能力，易于理解，且因其递归的“分治”本质而尤其受到计算机科学研究人员的关注。 任何一条穿越假设空间的路径都可被转化为一棵等价的决策树。 对于取值超过两个状态的特征，决策树并不会运用内部析取来处理，而是允许各分支指向不同的取值。 决策树具有比合取概念（严格）更强的表示...
决策树
测试
05-01 468
决策树 决策树的构造 决策树的构造是一个递归的过程，有三种情形会导致递归返回：(1) 当前结点包含的样本全属于同一类别，这时直接将该节点标记为叶节 点，并设为相应的类别；(2) 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分，这时将该节点标记为叶节点，并将...
机器学习04-树模型
zjl的博客
08-03 142
在每个节点上，在选择用于划分的特征时，如果有n个可用特征，则从中随机选择一个大小为k（k < n）的特征子集，并只允许算法从该特征子集中进行选择，从中选择出具有最高信息增益的特征进行分支。其中，初始熵是对整个数据集进行计算得到的熵，子集熵是对每个划分子集进行计算得到的熵，子集样本数是每个划分子集中的样本数量，总样本数是整个数据集的样本总数。b等于1到B，我们将训练集放入袋子中，利用有放回抽样选出B次大小为m的新的训练集，我们在这些新的训练集中训练一个个决策树。选出一个新的训练集，训练一个决策树；
10.【机器学习】十大算法之一决策树(Decision tree)算法原理讲解
最新发布
weixin_50804299的博客
06-07 1892
决策树是一种广泛应用于机器学习和数据分析领域的算法，它特别适用于分类和回归问题。作为一种监督学习算法，决策树通过模仿人类决策过程来构建预测模型。它的核心思想是从数据特征中选择最优的属性作为决策节点，然后根据这个属性的值将数据分成几个子集，这个过程递归地在每个子集上重复，直到满足某个停止条件。决策树的结构可以形象地看作是一棵树，其中根节点代表整个数据集，内部节点代表数据的一个特征属性，叶节点则代表最终的决策结果。从根节点到叶节点的每条路径都代表一个规则，这些规则合在一起就形成了一个完整的决策过程。
机器学习（三）树模型
sisteryaya的博客
05-22 1万+
机器学习（一）LR 机器学习（二）SVM 机器学习（三）树模型 机器学习（四）聚类 机器学习（三）树模型 目录 二、树模型 1、ID3 2、C4.5 3、CART树 （1）算法步骤 （2）举例 （3）参考链接 连续值处理 缺失值的处理 剪枝 集成学习 Boosting： Bagging： Stacking： 4、RF （1）随机性 （2）特征选择： （...
5000字干货 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结
SeizeeveryDay的博客
04-20 528
作者：ChrisCaohttps://zhuanlan.zhihu.com/p/75468124大家好，我是小z今天分享一波机器学习的干货~一. 决策树决策树是一个有监督分类模型，本质是选...
机器学习-决策树视频教学
06-09
学习者将学习如何利用这些库创建、训练和评估决策树模型，并对实际数据集进行预测。 在实践中，决策树可以用于分类和回归任务，具有可解释性强、易于理解等优点。然而，决策树也可能出现过拟合问题，解决方法包括...
机器学习-决策树python代码实现
12-18
决策树是一种广泛应用于数据分析和机器学习的监督学习方法，它通过构建树状模型来做出预测。在Python中，我们可以利用scikit-learn库轻松实现决策树的构建。本主题主要涵盖了以下几个方面： 1. **决策树的基本概念*...
2 机器学习-决策树学习.pptx
09-23
"机器学习-决策树学习" 决策树学习是一种机器学习算法，用于分类和回归问题。决策树学习可以表示任意离散函数和离散特征，可以将实例分到多个分类，输出可以是离散的分类，也可以是实数（回归树）。决策树学习可以...
机器学习-基于Python实现的机器学习算法之决策树.zip
03-03
决策树是一种广泛应用于数据挖掘和机器学习的算法，它通过构建一种树状模型来做出预测。在本资料包中，重点讲述了如何使用Python语言来实现决策树算法。Python因其丰富的库支持，成为机器学习领域非常受欢迎的编程...
机器学习中的树模型下——集成类树
Thinking data
03-11 7031
集成学习 集成学习顾名思义是通过构建并结合集成多个学习器来完成学习任务，有时也被称为多分类系统。集成学习要获得好的结果应做到“好而不同”，即个体学习器要有一定的准确性，并且学习器之间应该有差异。 目前集成学习的方法大致可以分为两种： 1、个体学习器之间存在强依赖关系、必须串行生成的序列化方法。（Boosting） 2、个体学习器之间不存在强依赖关系、可同时生成的并行化方法。（Baggi
一文带你入门机器学习中的树模型（附源码）
qq_56823459的博客
08-18 701
树模型在机器学习中至关重要，它不仅本身具有较好的性能，也可以用于优化其他的算法。 我们在本节将要介绍优化 KNN ~KNN~ KNN 算法的树模型以及决策树。在KNN算法中我们要找到测试点的最近的K个邻居，但是这需要我们求解所有点与测试点之间的距离（我们称这个过程为线性扫描），在数据集很大时这显然是不合理的，为此我们需要在此讨论以下KNN算法的数据结构。我们首先回顾一下 KNN ~KNN~ KNN 算法的时间复杂度，设数据集大小为 n ~n~ n ，特征向量维度为 d ~d~ d ，则对一个点进行分类的时间
机器学习问题汇总之树模型
hu_wenqiong的博客
08-06 402
一、CART、C4.5和ID3算法的区别以及他们的优缺点 历史回顾：1984年提出了CART,1986年提出了ID3、1993年提出了C4.5算法 使用的规则不一样 ID3使用信息增益来决定树的分裂： C4.5使用信息增益比来决定树的分裂 CART的话可以是分类树也可以是回归树。当是分类树时，使用基尼系数来指导树的分裂 当是回归树时，使用的是平方损失最小： 2、ID3和C...
树模型(1)-入门指南
FBeetle的博客
05-09 2万+
原文地址：https://www.analyticsvidhya.com/blog/2016/04/complete-tutorial-tree-based-modeling-scratch-in-python/ 翻译时间：2017年4月 翻译作者：FBeetle 简介 基于树的学习算法被认为是非监督学习方法中最好的并且是最常用的方法之一。基于树的方法使得模型的精确率很高，很稳定和
所涉及到的几种 sklearn 的二值化编码函数：OneHotEncoder(), LabelEncoder(), LabelBinarizer(), MultiLabelBinarizer()
知之可否
02-14 1万+
转自http://blog.csdn.net/haramshen/article/details/53169963 所涉及到的几种 sklearn 的二值化编码函数：OneHotEncoder(), LabelEncoder(), LabelBinarizer(), MultiLabelBinarizer() 1.代码块 import pandas as pd from sklear
『机器学习笔记 』GBDT原理-Gradient Boosting Decision Tree
百川的博客
03-24 6万+
1. 背景 1.1 Gradient Boosting 1.2 提升树-boosting tree 回归问题提升树算法 2 Gradient Boosting Decision Tree 2.1 函数空间的数值优化 2.2 算法 Shrinkage 总结 附录 参考资料 相似算法： 1. 背景 决策树是一种基本的分类与回归方法。决策树模型具有分类速度快，模型...
机器学习之聚类（利用python的sklearn实现）
MaloFleur
10-30 1万+
        sklearn是Python重要的机器学习库，是scikit-learn的简称，支持包括分类、回归、降维和聚类四大机器学习算法。本文以Kmeans与DBSCAN为例，介绍其聚类函数的用法。         sklearn中聚类的具体用法，可在sklearn之cluster 中查看，实现了包括KMeans、DBSCAN在内的如下九种聚类： KMeans函数构造如下： cl...
深入理解机器学习——基于决策树（Decision Tree）的模型：分类树和回归树
热门推荐
冯·诺依曼
09-17 31万+
决策树（Decision Tree）是一种基本的分类与回归方法。本文会讨论决策树中的分类树与回归树，后续文章会继续讨论决策树的Boosting和Bagging的相关方法。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点，其中内部结点表示一个特征或属性，叶结点表示一个类。 分类树 分类树是一种描述对实例进行分类的树形结构。 用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测...
机器学习决策树模型如何训练
05-19
决策树模型是一种基于树形结构的分类或回归模型，它通过对数据集进行逐层分割，从而构建出一棵树形结构，使得每个叶子节点表示一个分类或回归结果。训练决策树模型的主要过程包括以下几个步骤： 1. 数据预处理：对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值