决策树的划分以及案例_基于决策树数据集的划分案例-CSDN博客

本文链接：https://blog.csdn.net/Nothenhe/article/details/104578980

决策树的划分依据之一：信息增益

特征A对训练数据集D的信息增益g(D,A)定义为集合D的信息增益H（D）与特征A给定条件下D 的信息条件熵H(D|A)之差，即公式为：
g(D,A)=H(D)=H(D|A)
注：信息增益表示得知特征X 的信息而使得类Y的信息不确定性减少的程度
信息增益：
当得到一个条件后减少的信息熵的大小

如何计算

g(D,A)=H(D)=H(D|A)
在这里插入图片描述具体操作：

sklearn决策树API

class slklearn.tree.Decli\lsionTreeClassifier(criterion=“gine”,max_depth=None.random_state=Nine)

决策树分类器
criterion默认时gini参数，也可以选择信息增益的熵entropy
max_depth:树的深度大小
random_state:随机种子
method
decition_path:返回树的路径

决策树的结构、本地保存

sklean.tree.export_graphviz() 该函数导出DOT格式
tree.export_graphviz(estimetor.out_file=“tree.dot”,feature_names=(",")
工具（能够将dot文件准换为pdf,prg）
安装graphviz
ubuntu: sudo apt-get install graphviz mac:brew install graphviz
运行命令
然后我们运行这个命令 dot - Tpng tree.dot -o tree.png

代码

from sklearn.datasets import load_iris,fetch_20newsgroups,load_boston
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
from sklearn.naive_bayes import MultinomialNB  #朴素贝叶斯算法
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz

def decision():
    """决策树预测生死"""
    # 获取数据
    titan=pd.read_csv("http://www/.../")
    # 处理数据，找出特征值和目标值
    x=titan[["pclass","age","sex"]]
    y=titan["survived"]

    # 处理缺失值
    x['age'].fillna(x["age"].mean(),implace=True)

    # 分割数据数据集
    x_train,x_text,y_train,y_text=train_test_split(x,y,text_size=0.25)

    print(x)
    # 处理（特征工程）特征-》类别 one-hot编码
    mydict=DictVectorizer(sparse=False)
    x_train=mydict.fit_transform(x_train.to_dict(orient="records"))
    x_text=mydict.transform(x_text.to_dict(orient="recods"))
    print(x_train)

    dec=DecisionTreeClassifier(max_depth=5)
    dec.fit(x_train,y_train)
    print("预测的准确率为：",dec.score(x_text,y_text))
    # 导出决策树结构
    export_graphviz(dec,out_file="./tree.dot",feature_names=["年龄","pclass=1st","pclass=2nd","pclass=3rd","女性","男性"])
    return  None
def main():
    decision()
if __name__ == '__main__':
    main()