机器学习-决策树算法-小白笔记

1 决策树

1.1 认识决策树

1.2 决策树分类原理详解

1.2.1 原理

1.2.2 信息熵的定义

1.2.3 信息增益

 

1.3 决策树API

1.4 决策树可视化

1.4.1 保存树的结构到dot文件

1.4.2 网站显示结构

http://webgraphviz.com/

1.5 鸢尾花案例

代码实现

from sklearn.model_selection import train_test_split
from sklearn.datasets import  load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier,export_graphviz

def decision():
    """
    用决策树对鸢尾花进行分类
    :return:
    """
    #1 获取数据
    iris=load_iris()

    #2 划分数据集
    x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=5)
    #3 特征抽取
    transfer=StandardScaler()
    x_train=transfer.fit_transform(x_train)
    #跟测试集做一样的处理
    x_test=transfer.transform(x_test)
    #4 算法预估器
    estimator=DecisionTreeClassifier(criterion='entropy')
    estimator.fit(x_train,y_train)
    #5 模型评估
    # 方法1 直接比对真实值和预测值
    y_predict=estimator.predict(x_test)
    print("y_predict:\n",y_predict)
    print("直接比对真实值和预测值：\n",y_test==y_predict)

    # 方法2 计算准确率
    score=estimator.score(x_test,y_test)
    print("准确率：\n",score)
    #可视化决策树
    export_graphviz(estimator,out_file="iris_tress.dot",feature_names=iris.feature_names)


if __name__ == '__main__':
    decision()

 

1.6 总结