决策树与随机森林_2021-6-21

最新推荐文章于 2024-05-15 19:26:08 发布
最新推荐文章于 2024-05-15 19:26:08 发布
阅读量282 收藏
点赞数
分类专栏： 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53183608/article/details/118083605
版权

Jupyter Notebook


在这里插入图片描述
这里是我需要用Jupyter Notebook这个软件,所以需要注意他的一些基本的操作,以及和pycharm不同的地方

决策树概述


决策树是有分类树和回归树的,一种是对于离散型变量,一种是对于连续型变量
而在大数据杀熟中常常使用的是决策树的优化模型–随机森林.他是一种回归模型,由回归树所构成
在这里插入图片描述
在这里插入图片描述

非叶子节点的部分就是决策树的分类属性,叶子节点得到的是结果

在这里插入图片描述
这里演示了依靠属性去进行分类

构建一个树,在树里面进行一系列的决策
分类的算法,所谓分类的算法,可以把数据分成几个类别
决策树既能做分类又能做回归

比如说一家几口人根据年龄,性别去进行分类

先有树,将数据丢到树中,输出结果即可

每一个叶子节点里面都有唯一的决策值

先通过训练阶段构造决策树,再通过决策树去进行构建,

熵原理解读


在选择决策树的属性时,一般的判断方式是以熵和Gini系数.
在这里插入图片描述
熵与基尼系数所描述的都是一个数据集其混乱程度的大小.
集合中不同标签越多熵值越大
当我的数据通过决策树的属性之后熵和Gini系数越小,效果越好,越大效果越差
(当然不只是看这些东西)
构造树的基本想法是随着树深度的增加,节点的熵迅速地降低, 熵降低的速度越快越好,这样有希望进行最少的决策,即获得高度最矮的树能三步做完,不要五步.

当我们对于一个数据什么都没做的时候他自身固有的熵值是什么? 就是已有的label根据熵的计算公式计算
加权平均先记录在该节点下每一种情况对应的熵,在根据这种情况出现的概率乘以熵值求和可以得到经过这个节点后的熵值
在这里插入图片描述
以基尼系数为例进行的计算

决策树构造实例

.cn/20210623160231830.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzUzMTgzNjA4,size_16,color_FFFFFF,t_70)
这是一个不包括剪枝操作的决策树的构建
可以说是一个递归的过程通过不断的找到’最短路径’

决策树构造实例


在这里插入图片描述
这是一个不包括剪枝操作的决策树的构建
可以说是一个递归的过程通过不断的找到’最短路径’–可以使熵或Gini下降最快的属性放置方法

决策树构造实例

gain**信息增益(对于某个节点来说)是上个节点的熵减去这个节点的熵所得到的值,该值越高越好,分得的数据集越纯越好,

信息增益率

信息增益率:当存在的属性很多,对应的样本很少

当我的信息增益率特别大,信息增益也特别大时该如何取舍呢?

目标函数这里是评价函数,目标是纯度很大,熵很小,评价函数对应的值越小越好

没有子节点就是叶子节点

如果我用年龄我怎么判断要那个age不要那个age,可以选取分界点将连续值离散化,分区间进行比较.

决策树剪枝


数据可能不是完全正确的,所以不需要精度过高的决策树,因为这会过拟合

所以有了以下两个操作
1.预剪枝 在构建决策树的过程中提前停止
2.后剪枝 决策树构建好后才开始裁剪
在这里插入图片描述
T_leaf 是叶子节点的个数(就是那个带绝对值的玩意) C(T)是Gini系数

随机森林


在这里插入图片描述

Bootstraping: 有放回的采样
Bagging 有放回采样n个样本一共建立分类器

又放回: 假设有集合[1,2,3,4] 你可以选取1,2,3,4,1,2 就是说已经选取的任然可以进行选取就是有放回的

随机森林: 我构造出了多棵决策树

随机: 重点操作 双重随机性
第一重:数据的选择随机性 选取数据时随机的选取一定的数据 比如有集合[1,2,3,4,5] 你只随机的选择了 1,4,5,1(又放回) 这样大量的随机可以减少有误数据的影响
第二重:特征选择的随机性 如判断出不出门的天气,温度等 假设有八个特征F1,F2,…,F8 可以选取F5,F6…等等(注意没有又放回之说)

最低0.47元/天 解锁文章
微若蓝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Jupyter Notebook 的机器学习基本模型算法介绍(附加案例)
03-26
基于Jupyter Notebook 的机器学习基本模型算法介绍(附加案例)
《机器学习实战》第3章—隐形眼镜类型（Jupyter版决策树）
qq_40787900的博客
08-02 1429
本篇文章主要是依托sklearn库，来进行决策树模型的建立。书中主要是从底层算法来建立决策树模型。对于纯小白来说，能明白原理是再好不过，如果有些难度，本篇文章或许能让我们比较简单的实现这个决策树的案例。......
【机器学习】：基于决策树与随机森林对数据分类
最新发布
码银的博客
05-15 1359
本实验的目的在于让学生通过实践，深入理解这两种算法的工作原理，掌握使用Python的sklearn库对数据进行分类的方法，并熟悉数据预处理的相关技术。在本次实验中，随机森林的准确率超过了决策树，这可能是因为随机森林在处理复杂的分类问题时，能够更好地泛化。实验结果显示，CART决策树的分类准确率为82.61%，而随机森林的分类准确率达到了84.83%，后者在本次实验中表现更优。最后，实验通过柱状图可视化了两种模型的分类准确率，直观展示了随机森林相对于决策树在本次实验中的优势。首先，实验从载入数据集开始。
在Jupyter上简单的跑一个机器学习分析案例
jingjiaohuan的博客
10-29 3366
这篇文章是闲暇时间里，作者对python的复习，对数据预处理、数据可视化、机器学习知识的复习巩固，仅用于比赛准备。
数据挖掘总结之一——决策树（Jupyter lab）
Luciferwjd的博客
09-14 1567
决策树（Decision Tree） 决策树是一个预测模型，是一种非参数的监督学习方法，使用树状图来呈现它从数据特征和标签中总结出的规则。 类名 功能 tree.DecisionTreeClasifier 分类树 tree.DecisionTreeRegressor 回归树 tree.export_graphviz 画出生成的决策树 建模基本流程 实例化模型对象 划分训练集和测试集，训练模型 获取模型参数，调参 相关库 Python Scikit-learn Graphviz
【机器学习】决策树（实战）
酱懵静的博客
04-11 5245
决策树不仅在理论上很容易理解（机器学习“最友好”的算法），实现时还能对构建过程进行可视化（诸如神经网络等算法本身就是黑盒模型，更难可视化展示模型的构建）。因此，决策树的另一大优势就是能利用相关包来查看构建的树模型。下面介绍一个可以对决策树进行可视化展示的包。
python-a_splitsgz_机器学习python_letsef_决策树_python决策树与随机森林_
09-29
在压缩包文件"第4章 决策树与随机森林"中，很可能包含了关于这两种算法的深入讲解，包括理论基础、Python实现示例、模型评估方法（如精度、召回率、F1分数等）以及如何使用交叉验证来调优。这部分内容对于初学者和...
RFDR_python_决策树_随机森林_
09-30
在这个主题中，我们聚焦于Python中的决策树、随机森林以及ExtraTree分类器，这些都是机器学习中非常重要的监督学习算法。以下是对这些概念的详细解释： **决策树（Decision Tree）** 决策树是一种直观的模型，它...
matlab_pca_模糊控制_决策树_随机森林_
10-04
通过学习这些代码，我们可以深入理解PCA、模糊控制、决策树和随机森林在实际工程问题中的应用方法，以及如何在MATLAB中有效地实现它们。这些知识对于提升机器学习和控制系统的设计能力至关重要。
决策树原理实例（python代码实现）
热门推荐
程松
03-26 9万+
决策数(Decision Tree)在机器学习中也是比较常见的一种算法，属于监督学习中的一种。看字面意思应该也比较容易理解，相比其他算法比如支持向量机(SVM)或神经网络，似乎决策树感觉“亲切”许多。 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失值不敏感，可以处理不相关特征数据。 缺点：可能会产生过度匹配的问题。 使用数据类型：数值型和标称型。 简单介绍完毕，让我们来通过一个例子让决策树“
基于Jupiter Notebook的回归、分类和聚类可视化分析
毕业作品网站
01-13 2792
回归、分类和聚类 本次设计在 Jupiter Notebook 上通过 scikit-learn 对两个数据集分别实现了：1、回归（Air quality dataset）：逻辑回归；2、分类（BLE&RSSI dataset）：SVM、决策树、随机森林；3、聚类（BLE&RSSI dataset）：DBScan、kmeans、GMM、层次聚类算法（其中聚类算法以 t-SNE 实现了结果可视化）。 具体实现过程如下： 1.回归（Air quality dataset） 代码路径：./AirQ
随机森林回归预测_jupyter notebook
qq_50948446的博客
05-30 3827
import numpy as np import pandas as pd from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt 导入数据，按7：3划分训练、测试集，随机数定为42（任意） sediment=pd.read_csv('E:/Resource/Develop/notebook/random_forest.csv') X=sediment.drop(["S"],axis=1)
参数调优：K折交叉验证与GridSearch网格搜索
m0_46388544的博客
01-27 2404
本文代码及数据集来自《Python大数据分析与机器学习商业案例实战》 一、K折交叉验证 在机器学习中，因为训练集和测试集的数据划分是随机的，所以有时会重复地使用数据，以便更好地评估模型的有效性，并选出最好的模型，该做法称为交叉验证。具体而言就是对原始样本数据进行切分，然后组合成为多组不同的训练集和测试集，用训练集训练模型，用测试集评估模型。某次的训练集可能是下次的测试集，故而称为交叉验证。 交叉验证的方法有简单交叉验证、K折交叉验证和留一交叉验证3种。其中K折交叉验证应用较为广泛，它是指将数据集随机等分.
Python电影观众数量回归分析 随机森林 可视化 实验报告
Amzmks的博客
01-06 1569
在回归计算中，为了提升模型的收敛速度，加快迭代速度，减少寻找最优解的时间，提升模型的精度，常使用标准化的方法将每一列特征转化为均值为0、方差为1的较小数字。本文探讨了某个国家或地区电影上座人数与电影的时长、荧幕数量、分级、题材、演员和导演等指标的关系，使用Python编程语言，利用随机森林回归预测的方法分析了影响电影卖座程度的因素，预测效果较好，拟合较为准确。使用sklearn提供的随机森林回归器，对给定的数据进行机器学习，获取相关的特征，并对测试集进行预测。其中，n为样本的数量。
机器学习第2集——回归决策树DecisionTreeRegressor() 附案例
m0_66470984的博客
09-26 4117
② friedman_mse（费尔德曼均方误差，标使用弗里德曼针对潜在分枝中的问题改进后的均方误差）① mse（均方误差，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准）③ mae（绝对平均误差，使用叶节点的中值来最小化L1损失）4、score：返回的是R²，可以为负，模型很糟糕的时候为负。2、fit：用于导入数据集（训练集）下面简单建立一颗回归树。下面2-8个属性详见。
Python机器学习之决策树案例
雪域枫蓝的博客
11-19 846
# -*- coding: utf-8 -*- __author__ = 'gerry'# 先导入所有的class import xgboost from numpy import * from sklearn import model_selection from sklearn.metrics import accuracy_score# load 数据集 dataset = loadtxt('
Python用户流失数据挖掘：建立逻辑回归、XGboost、随机森林、决策树、支持向量机、朴素贝叶斯模型和Kmeans用户画像
大数据部落
11-17 2369
1 概述 1.1 项目背景： 在今天产品高度同质化的品牌营销阶段，企业与企业之间的竞争集中地体现在对客户的争夺上。“用户就是上帝”促使众多的企业不惜代价去争夺尽可能多的客户。但是企业在不惜代价发展新用户的过程中，往往会忽视或无暇顾及已有客户的流失情况，结果就导致出现这样一种窘况：一边是新客户在源源不断地增加，而另一方面是辛辛苦苦找来的客户却在悄然无声地流失。因此对老用户的流失进行数据分析从而挖掘出重要信息帮助企业决策者采取措施来减少用户流失的事情至关重要，迫在眉睫。 1.2 目的： 深入了解用户画
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值