决策树模型学习

# 决策树模型
# 信息熵
# “谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：
# H = -(p1logp1 + p2logp2 + ... + p32log32)
#
# 决策树的划分依据1：信息增益，根据信息的增益大小去判断特征的重要性，做出特征值的重要性判断。
# 信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
# 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，
# 即公式为：g(D,A)=H(D)-H(D|A)
#
# 决策树的划分依据2：ID3，信息增益最大的原则，CART 回归树，平方误差最小，分类树，基尼系数最小的准则
# 决策树的API，
# sklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None)
# 决策树分类器
# criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
# max_depth:树的深度大小
# random_state:随机数种子
# method:decision_path:返回决策树的路径

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier



taitan=pd.read_csv(r"D:\学习\4机器学习算法基础\Data explorer\titan.csv")
print(taitan.info())

#步骤1，选取数据
x=taitan[["Pclass","Sex","Age"]]
y=taitan["Survived"]

#填充缺失值
x["age"].fillna(x["age"].mean(),inplace=True)

#分割数据集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)

#类型数据编码,类型数据转化为one_hot编码
dictt=DictVectorizer(sparse=False)
x_train=dictt.fit_transform(x_train.to_dict(orient="records"))
print(dictt.get_feature_names())
x_test=dictt.transform(x_test.to_dict(orient="records"))

#模型训练
dec=DecisionTreeClassifier()
dec.fit(x_train,y_train)

#预测的准确率
print("预测准确率",dec.score(x_test,y_test))

#导出决策树结构
# 1、sklearn.tree.export_graphviz()该函数能够导出DOT格式
# tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
# 2、工具:(能够将dot文件转换为pdf、png)
# 安装graphviz
# ubuntu:sudo apt-get install graphviz                    Mac:brew install graphviz
# 3、运行命令
# 然后我们运行这个命令
# $ dot -Tpng tree.dot -o tree.png

export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])


# #随机森林算法：建立多个决策树
#
# 集成学习方法：集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，
# 各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
# API接口
# sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion=’gini’,
# max_depth=None, bootstrap=True,random_state=None)
# 随机森林分类器
# n_estimators：integer，optional（default = 10） 森林里的树木数量
# criteria：string，可选（default =“gini”）分割特征的测量方法
# max_depth：integer或None，可选（默认=无）树的最大深度
# bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

#随机森林预测
from sklearn.model_selection import GridSearchCV
rf=RandomForestClassifier()
#网格搜索与交叉验证
param={"n_estimators":[120,200,300,500,800,1200],"max_depth":[5,8,15,20,25]}
gc=GridSearchCV(rf,param_grid=param)
gc.fit(x_train,y_train)
print("预测准确率",gc.score(x_test,y_test))
print("选择模型",gc.best_params_)