随机森林代码

1.描述

鸢尾花判断

2.代码

1.Iris_DecisionTree.py

#!/usr/bin/python
# -*- coding:utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn import tree
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline


def iris_type(s):
    it = {
   'Iris-setosa': 0, 'Iris-versicolor': 1, 'Iris-virginica': 2}
    return it[s]


# 花萼长度、花萼宽度，花瓣长度，花瓣宽度
# iris_feature = 'sepal length', 'sepal width', 'petal length', 'petal width'
iris_feature = u'花萼长度', u'花萼宽度', u'花瓣长度', u'花瓣宽度'

if __name__ == "__main__":
    mpl.rcParams['font.sans-serif'] = [u'SimHei']
    mpl.rcParams['axes.unicode_minus'] = False

    path = '..\\8.Regression\\8.iris.data'  # 数据文件路径
    data = np.loadtxt(path, dtype=float, delimiter=',', converters={
   4: iris_type})
    x, y = np.split(data, (4,), axis=1)
    # 为了可视化，仅使用前两列特征
    x = x[:, :2]  #取前两列
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=1) # 测试集选30%
    #ss = StandardScaler()
    #ss = ss.fit(x_train)

    # 决策树参数估计
    # min_samples_split = 10：如果该结点包含的样本数目大于10，则(有可能)对其分支
    # min_samples_leaf = 10：若将某结点分支后，得到的每个子结点样本数目都大于10，则完成分支；否则，不进行分支
    model = Pipeline([  #管道：使过程更加完成明显
        ('ss', StandardScaler()),  #先进行标准化，保证均值0，方差1，提高效果
        ('DTC', DecisionTreeClassifier(criterion='entropy', max_depth=3))])   #最大深度
    # clf = DecisionTreeClassifier(criterion='entropy', max_depth=3)
    model = model.fit(x_train, y_train) # 进行训练
    y_test_hat = model.predict(x_test)      # 测试数据

    # 保存
    # dot -Tpng -o 1.png 1.dot
    f = open('.\\iris_tree.dot', 'w')
    tree.export_graphviz(model.get_params('DTC')['DTC'], out_file=f) #输出到图形可视化

    # 画图
    N, M = 100, 100  # 横纵各采样多少个值
    x1_min, x1_max = x[:, 0].min(), x[:, 0].max()  # 第0列的范围
    x2_min, x2_max = x[:, 1].min(), x[:, 1].max()  # 第1列的范围
    t1 = np.linspace(x1_min, x1_max, N) #第0列取了100个值
    t2 = np.linspace(x2_min, x2_max, M) # 第1列取了100个值
    x1, x2 = np.meshgrid(t1, t2)  # 生成网格采样点，t1t2拼到一起
    x_show = np.stack((x1.flat, x2.flat), axis=1)  # 测试点，把里面每个数据都写成一列，然后合起来

    # # 无意义，只是为了凑另外两个维度
    # # 打开该注释前，确保注释掉x = x[:, :2]
    # x3 = np.ones(x1.size) * np.average(x[:, 2])
    # x4 = np.ones(x1.size) * np.average(x[:, 3])
    # x_test = np.stack((x1.flat, x2.flat, x3, x4), axis=1)  # 测试点
    cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])  # 制作浅色的图例
    cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b']) # 制作深色的图例
    y_show_hat = model.predict(x_show)  # 预测值，现在仍然是一个向量
    y_show_hat = y_show_hat.reshape(x1.shape)  # 使之与输入的形状相同reshape
    plt.figure(facecolor='w') # 设置底，w白色，k黑色，默认灰色
    plt.pcolormesh(x1, x2, y_show_hat, cmap=cm_light)  # 预测值的显示，背景块
    plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test.ravel(), edgecolors='k', s=100, cmap=cm_dark, marker='o')