决策树模型学习

文章介绍了如何使用决策树模型进行分类,包括信息熵、信息增益的概念,以及在Titanic数据集上进行预处理、训练和评估。接着,文章讨论了随机森林算法,解释了集成学习的概念,并展示了随机森林分类器的参数调优过程,通过GridSearchCV找到最佳参数并计算预测准确率。
摘要由CSDN通过智能技术生成
# 决策树模型
# 信息熵
# “谁是世界杯冠军”的信息量应该比5比特少。香农指出,它的准确信息量应该是:
# H = -(p1logp1 + p2logp2 + ... + p32log32)
#
# 决策树的划分依据1:信息增益,根据信息的增益大小去判断特征的重要性,做出特征值的重要性判断。
# 信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
# 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,
# 即公式为:g(D,A)=H(D)-H(D|A)
#
# 决策树的划分依据2:ID3,信息增益最大的原则,CART 回归树,平方误差最小,分类树,基尼系数最小的准则
# 决策树的API,
# sklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None)
# 决策树分类器
# criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
# max_depth:树的深度大小
# random_state:随机数种子
# method:decision_path:返回决策树的路径

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier



taitan=pd.read_csv(r"D:\学习\4机器学习算法基础\Data explorer\titan.csv")
print(taitan.info())

#步骤1,选取数据
x=taitan[["Pclass","Sex","Age"]]
y=taitan["Survived"]

#填充缺失值
x["age"].fillna(x["age"].mean(),inplace=True)

#分割数据集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)

#类型数据编码,类型数据转化为one_hot编码
dictt=DictVectorizer(sparse=False)
x_train=dictt.fit_transform(x_train.to_dict(orient="records"))
print(dictt.get_feature_names())
x_test=dictt.transform(x_test.to_dict(orient="records"))

#模型训练
dec=DecisionTreeClassifier()
dec.fit(x_train,y_train)

#预测的准确率
print("预测准确率",dec.score(x_test,y_test))

#导出决策树结构
# 1、sklearn.tree.export_graphviz()该函数能够导出DOT格式
# tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
# 2、工具:(能够将dot文件转换为pdf、png)
# 安装graphviz
# ubuntu:sudo apt-get install graphviz                    Mac:brew install graphviz
# 3、运行命令
# 然后我们运行这个命令
# $ dot -Tpng tree.dot -o tree.png

export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])


# #随机森林算法:建立多个决策树
#
# 集成学习方法:集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,
# 各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。
# API接口
# sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion=’gini’,
# max_depth=None, bootstrap=True,random_state=None)
# 随机森林分类器
# n_estimators:integer,optional(default = 10) 森林里的树木数量
# criteria:string,可选(default =“gini”)分割特征的测量方法
# max_depth:integer或None,可选(默认=无)树的最大深度
# bootstrap:boolean,optional(default = True)是否在构建树时使用放回抽样

#随机森林预测
from sklearn.model_selection import GridSearchCV
rf=RandomForestClassifier()
#网格搜索与交叉验证
param={"n_estimators":[120,200,300,500,800,1200],"max_depth":[5,8,15,20,25]}
gc=GridSearchCV(rf,param_grid=param)
gc.fit(x_train,y_train)
print("预测准确率",gc.score(x_test,y_test))
print("选择模型",gc.best_params_)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值