分类算法-决策树、随机森林

最新推荐文章于 2024-01-18 01:52:10 发布
最新推荐文章于 2024-01-18 01:52:10 发布
阅读量300 收藏 1
点赞数
文章标签： 决策树 分类 随机森林
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42856170/article/details/128614279
版权

文章目录

一、认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法
32支球队，log32=5比特
64支球队，log64=6比特
信息熵：
“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：
H = -(p1logp1 + p2logp2 + … + p32log32)
H的专业术语称之为信息熵，单位为比特。
公式：
在这里插入图片描述

当这32支球队夺冠的几率相同时，对应的信息熵等于5比特

信息增益

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：
在这里插入图片描述
注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
在这里插入图片描述

在这里插入图片描述
常见决策树使用的算法：
ID3
信息增益 最大的准则
C4.5
信息增益比 最大的准则
CART
回归树: 平方误差 最小
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则

二、sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子

method:
decision_path:返回决策树的路径

泰坦尼克号数据

在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息，但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单，由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
其中age数据存在缺失。
在这里插入图片描述

# coding=utf-8
from sklearn.datasets import load_iris,fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction import DictVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
from sklearn.tree import DecisionTreeClassifier
import pandas as pd
def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    #获取数据
    titan = pd.read_csv("./data/train.csv")
    # print(titan.head())
    # titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    #处理数据，找出特征值和目标值
    x = titan[['Pclass','Age','Sex']]
    y = titan['Survived']
    # print(x)
    #处理缺失值
    x['Age'].fillna(x['Age'].mean(),inplace=True)
    #分割数据集到训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    #进行处理（特征工程）特征里面是类别  one_hot 编码
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))
    print(dict.get_feature_names_out())
    x_test = dict.transform(x_test.to_dict(orient="records"))
    print(x_train)
    #用决策树进行分类
    dec = DecisionTreeClassifier()
    dec.fit(x_train,y_train)
    #预测准确率
    print("预测的准确率:",dec.score(x_test,y_test))
    return None

if __name__ == "__main__":
    decision()

在这里插入图片描述

# coding=utf-8
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,export_graphviz


def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    #获取数据
    titan = pd.read_csv("./data/train.csv")
    # print(titan.head())
    # titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    #处理数据，找出特征值和目标值
    x = titan[['Pclass','Age','Sex']]
    y = titan['Survived']
    # print(x)
    #处理缺失值
    x['Age'].fillna(x['Age'].mean(),inplace=True)
    #分割数据集到训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    #进行处理（特征工程）特征里面是类别  one_hot 编码
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))
    print(dict.get_feature_names_out())
    x_test = dict.transform(x_test.to_dict(orient="records"))
    print(x_train)
    #用决策树进行分类
    dec = DecisionTreeClassifier()
    dec.fit(x_train,y_train)
    #预测准确率
    print("预测的准确率:",dec.score(x_test,y_test))
    #导出决策树的结构
    export_graphviz(dec,out_file="./tree.dot",feature_names=['年龄','等级','女性','男性'])
    return None

if __name__ == "__main__":
    decision()

在这里插入图片描述

# coding=utf-8
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,export_graphviz


def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    #获取数据
    titan = pd.read_csv("./data/train.csv")
    # print(titan.head())
    # titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    #处理数据，找出特征值和目标值
    x = titan[['Pclass','Age','Sex']]
    y = titan['Survived']
    # print(x)
    #处理缺失值
    x['Age'].fillna(x['Age'].mean(),inplace=True)
    #分割数据集到训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    #进行处理（特征工程）特征里面是类别  one_hot 编码
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))
    print(dict.get_feature_names_out())
    x_test = dict.transform(x_test.to_dict(orient="records"))
    print(x_train)
    #用决策树进行分类
    dec = DecisionTreeClassifier(max_depth=8)
    dec.fit(x_train,y_train)
    #预测准确率
    print("预测的准确率:",dec.score(x_test,y_test))
    #导出决策树的结构
    export_graphviz(dec,out_file="./tree.dot",feature_names=['年龄','等级','女性','男性'])
    return None

if __name__ == "__main__":
    decision()

在这里插入图片描述
决策树的优缺点以及改进：

优点：
简单的理解和解释，树木可视化。
需要很少的数据准备，其他技术通常需要数据归一化，
缺点：
决策树学习者可以创建不能很好地推广数据的过于复杂的树， 这被称为过拟合。
决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成

改进：
减枝cart算法
随机森林

三、随机森林

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

集成学习 API：

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,
max_depth=None, bootstrap=True, random_state=None)
随机森林分类器
n_estimators：integer，optional（default = 10） 森林里的树木数量
criteria：string，可选（default =“gini”）分割特征的测量方法
max_depth：integer或None，可选（默认=无）树的最大深度
bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

# coding=utf-8
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.ensemble import RandomForestClassifier


def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    #获取数据
    titan = pd.read_csv("/Volumes/D/data/train.csv")
    # print(titan.head())
    # titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    #处理数据，找出特征值和目标值
    x = titan[['Pclass','Age','Sex']]
    y = titan['Survived']
    # print(x)
    #处理缺失值
    x['Age'].fillna(x['Age'].mean(),inplace=True)
    #分割数据集到训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    #进行处理（特征工程）特征里面是类别  one_hot 编码
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))
    print(dict.get_feature_names_out())
    x_test = dict.transform(x_test.to_dict(orient="records"))
    # print(x_train)
    # #用决策树进行分类
    # dec = DecisionTreeClassifier(max_depth=8)
    # dec.fit(x_train,y_train)
    # #预测准确率
    # print("预测的准确率:",dec.score(x_test,y_test))
    # #导出决策树的结构
    # export_graphviz(dec,out_file="./tree.dot",feature_names=['年龄','等级','女性','男性'])
    # return None
    #随机森林进行预测（超参数调优
    rf = RandomForestClassifier()
    param = {"n_estimators":[120,200,300,500,800,1200],"max_depth":[5,8,15,25,30]}
    #网格搜索和交叉验证
    gc = GridSearchCV(rf,param_grid=param,cv=2)
    gc.fit(x_train,y_train)
    print("准确率：",gc.score(x_test,y_test))
    print("查看选择的模型:",gc.best_params_)
if __name__ == "__main__":
    decision()

在这里插入图片描述

随机森林的优点：

在当前所有算法中，具有极好的准确率
能够有效地运行在大数据集上
能够处理具有高维特征的输入样本，而且不需要降维
能够评估各个特征在分类问题上的重要性
对于缺省值问题也能够获得很好得结果

总结

育林
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习实验——使用决策树和随机森林对数据分类
weixin_53707859的博客
10-23 3477
机器学习实验
使用决策树和随机森林对数据分类
monster_typing的博客
11-01 5096
文章目录前言一、使用决策树和随机森林对数据分类二、代码拆分成训练数据和测试数据CART决策树分类检查准确率检查准确率三、总结 前言 在研究机器学习，发现了一些宝藏算法，写下来让自己记住，超有用！同时也想要分享给大家，如果喜欢可以支持一下，谢谢。 一、使用决策树和随机森林对数据分类 使用决策树算法和随机森林算法对income_classification.csv的收入水平进行分类。训练集和测试集的比例是7:3，选取适当的特征列，使得针对测试样本的分类准确率在80%以上，比较2种分类方法的准确率。 数.
决策树算法、随机森林算法
Vincent_Zhang233的博客
11-29 729
决策树算法、随机森林算法详解
决策树与随机森林(从入门到精通)
热门推荐
KI的博客
07-06 14万+
决策树（decision tree）是一种基本的分类与回归方法，本文主要讨论用于分类的决策树。决策树学习通常包括三个步骤：特征选择，决策树的生成和决策树的修剪。而随机森林则是由多个决策树所构成的一种分类器，更准确的说，随机森林是由多个弱分类器组合形成的强分类器。............
机器学习算法篇：决策树和随机森林算法
qq_46076764的博客
08-23 1194
决策树（Decision tree），通俗来讲就是对数据的特征进行一系列的 if 判断从而分类数据。在数据的特征属性中，指定一些条件，从根节点一层一层决策到子节点，最终所有数据都在叶子节点上。应用：决策树可以做分类，也可以做回归。
机器学习算法---随机森林.zip
04-08
随着统计学的发展，统计学习在机器学习中占据了重要地位，支持向量机（SVM）、决策树和随机森林等算法的提出和发展，使得机器学习能够更好地处理分类、回归和聚类等任务。进入21世纪，深度学习成为机器学习领域的...
传统机器学习分类算法python实现源码集合(KNN决策树贝叶斯随机森林SVM等).zip
11-01
传统机器学习分类算法python实现源码集合(KNN决策树贝叶斯随机森林SVM等).zip 里面都是已获导师指导并通过的97分的高分期末大作业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。...
实验4-基于决策树和随机森林的鸢尾花分类-部分代码.ipynb
最新发布
04-21
1.掌握基于决策树和随机森林构建鸢尾花种类预测模型的步骤 2.理解决策树算法的原理 3.理解决策树算法的主要参数（剪枝参数） 4.掌握集成算法的使用 5.掌握树模型可视化方法 通过这些实验，可以更深入地理解决策树...
机器学习之决策树与随机森林模型
01-27
本文来自于作者汪毅雄，本文用容易理解的语言和例子来解释了决策树三种常见的算法及其优劣、随机森林的含义，相信能帮助初学者真正地理解相关知识。决策树，是机器学习中一种非常常见的分类方法，也可以说是所有算法...
python实现决策树、随机森林的简单原理
12-24
决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树...
matlab程序下的决策树与随机森林分类算法的详细案例，含doc介绍，方便学习
01-21
matlab程序下的决策树与随机森林分类算法的详细案例，含doc介绍，方便学习
【实践】随机森林算法与决策树的效果对比（含Python代码）
wzk4869的博客
08-10 2721
【实践】随机森林算法与决策树的效果对比（含Python代码）
机器学习一（使用决策树和随机森林对数据进行分类）
weixin_49041703的博客
11-06 8106
机器学习一：使用决策树和随机森林对数据分类 首先导入数据：income_classification.csv 在python编辑器中导入所需要的库 import numpy as np import pandas as pd from sklearn import tree from sklearn.ensemble import RandomForestClassifier from sklearn.feature_extraction import DictVectorizer from sklearn
分类问题常用算法之决策树、随机森林及python实现
LIsaWinLee的博客
06-24 2289
关于决策树和随即森林的知识
机器学习之决策树分类算法
lixinkuan的博客
09-26 3129
决策树和随机森林：决策树和随机森林都是非线性有监督的分类模型。 决策树是一种树形结构，树内部每个节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一个分类类别。通过训练数据构建决策树，可以对未知数据进行分类， 随机森林是由多个决策树组成，随机森林中每一棵决策树之间没有关联，在得到一个随机森林后，当有新的样本进入的时候，随机森林中的每一棵决策树分别进行判断，分析出该样本属于哪一...
通俗易懂--决策树算法、随机森林算法讲解(算法+案例)
mantch
12-11 3820
寻觅互联网，少有机器学习通俗易懂之算法讲解、案例等，项目立于这一问题之上，整理一份基本算法讲解+案例于文档，供大家学习之。通俗易懂之文章亦不可以面概全，但凡有不正确或争议之处，望告知，自当不吝赐教！ GitHub地址(代码加数据) 1.决策树 1.1从LR到决策树 相信大家都做过用LR来进行分类，总结一下LR模型的优缺点： 优点 适合需要得到一个分类概率的场景。 实现效率较高。 很好处...
决策树与随机森林
weixin_43211186的博客
06-25 1万+
决策树是一种用于分类和回归的模型，是一种有监督的机器学习算法，可用于分类和回归问题。树回答连续的问题，这些问题使我们在给出答案的情况下沿着树的某个路线前进。当构建决策树时，我们知道变量使用哪个变量和哪个值来拆分数据，从而快速预测结果。森林具有与决策树几乎相同的超参数，通常来说，一棵树没法得到有效的以及希望得到的结果，这时候就需要用到随机森林的概念，随机森林是一种用于分类、回归和其他任务的集成学习方法。随机森林可以理解成一组决策树，是将很多决策最终聚合成一个结果，通过在训练时构建大量决策树来进行操作，是一种基
随机森林: 一种常用的机器学习算法
禅与计算机程序设计艺术
01-18 1162
1.背景介绍 随机森林（Random Forest）是一种常用的机器学习算法，它是一种基于多个决策树的集成学习方法。随机森林算法通过构建多个独立的决策树，并将它们组合在一起，来提高模型的准确性和稳定性。这种方法通常被用于分类和回归任务，并且在许多应用中表现出色。 随机森林算法的核心思想是通过构建多个决策树，并将它们组合在一起来提高模型的准
随机森林文本分类算法
04-21
随机森林是一种集成学习算法，常用于分类和回归。它由多个决策树组成，每个决策树都是独立训练的，并且最终的预测结果是基于所有决策树的投票或平均值。 在文本分类任务中，随机森林可以用于将文本数据分为不同的类别。下面是随机森林文本分类算法的步骤： 1. 数据准备：将文本数据转换为数值特征表示，例如使用词袋模型或TF-IDF等方法将文本转换为向量。 2. 构建随机森林：随机森林由多个决策树组成，每个决策树都是通过对原始数据进行有放回抽样（bootstrap）得到的。对于每个决策树，随机选择一部分特征进行训练。 3. 训练决策树：对于每个决策树，使用训练数据进行训练。在每个节点上，通过选择最佳的特征和切分点来划分数据集，直到达到停止条件（例如达到最大深度或节点中的样本数小于某个阈值）。 4. 预测：对于新的文本数据，通过每个决策树进行预测，并根据投票或平均值来确定最终的分类结果。 随机森林文本分类算法的优点包括： - 能够处理高维度的文本特征 - 具有较好的泛化能力，能够有效地避免过拟合 - 能够评估特征的重要性，帮助理解数据 然而，随机森林也有一些限制： - 对于大规模数据集和高维度特征，训练时间可能较长 - 随机森林模型的解释性相对较弱

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值