鸢尾花(Iris)数据集决策树(python 文件读取,决策树,误差计算)

一、数据集(150)

具体数据如下(如果不能运行,尝试在末尾加回车)

5.1	3.5	1.4	0.2	1
4.9	3	1.4	0.2	1
4.7	3.2	1.3	0.2	1
4.6	3.1	1.5	0.2	1
5	3.6	1.4	0.2	1
5.4	3.9	1.7	0.4	1
4.6	3.4	1.4	0.3	1
5	3.4	1.5	0.2	1
4.4	2.9	1.4	0.2	1
4.9	3.1	1.5	0.1	1
5.4	3.7	1.5	0.2	1
4.8	3.4	1.6	0.2	1
4.8	3	1.4	0.1	1
4.3	3	1.1	0.1	1
5.8	4	1.2	0.2	1
5.7	4.4	1.5	0.4	1
5.4	3.9	1.3	0.4	1
5.1	3.5	1.4	0.3	1
5.7	3.8	1.7	0.3	1
5.1	3.8	1.5	0.3	1
5.4	3.4	1.7	0.2	1
5.1	3.7	1.5	0.4	1
4.6	3.6	1	0.2	1
5.1	3.3	1.7	0.5	1
4.8	3.4	1.9	0.2	1
5	3	1.6	0.2	1
5	3.4	1.6	0.4	1
5.2	3.5	1.5	0.2	1
5.2	3.4	1.4	0.2	1
4.7	3.2	1.6	0.2	1
4.8	3.1	1.6	0.2	1
5.4	3.4	1.5	0.4	1
5.2	4.1	1.5	0.1	1
5.5	4.2	1.4	0.2	1
4.9	3.1	1.5	0.1	1
5	3.2	1.2	0.2	1
5.5	3.5	1.3	0.2	1
4.9	3.1	1.5	0.1	1
4.4	3	1.3	0.2	1
5.1	3.4	1.5	0.2	1
5	3.5	1.3	0.3	1
4.5	2.3	1.3	0.3	1
4.4	3.2	1.3	0.2	1
5	3.5	1.6	0.6	1
5.1	3.8	1.9	0.4	1
4.8	3	1.4	0.3	1
5.1	3.8	1.6	0.2	1
4.6	3.2	1.4	0.2	1
5.3	3.7	1.5	0.2	1
5	3.3	1.4	0.2	1
7	3.2	4.7	1.4	2
6.4	3.2	4.5	1.5	2
6.9	3.1	4.9	1.5	2
5.5	2.3	4	1.3	2
6.5	2.8	4.6	1.5	2
5.7	2.8	4.5	1.3	2
6.3	3.3	4.7	1.6	2
4.9	2.4	3.3	1	2
6.6	2.9	4.6	1.3	2
5.2	2.7	3.9	1.4	2
5	2	3.5	1	2
5.9	3	4.2	1.5	2
6	2.2	4	1	2
6.1	2.9	4.7	1.4	2
5.6	2.9	3.6	1.3	2
6.7	3.1	4.4	1.4	2
5.6	3	4.5	1.5	2
5.8	2.7	4.1	1	2
6.2	2.2	4.5	1.5	2
5.6	2.5	3.9	1.1	2
5.9	3.2	4.8	1.8	2
6.1	2.8	4	1.3	2
6.3	2.5	4.9	1.5	2
6.1	2.8	4.7	1.2	2
6.4	2.9	4.3	1.3	2
6.6	3	4.4	1.4	2
6.8	2.8	4.8	1.4	2
6.7	3	5	1.7	2
6	2.9	4.5	1.5	2
5.7	2.6	3.5	1	2
5.5	2.4	3.8	1.1	2
5.5	2.4	3.7	1	2
5.8	2.7	3.9	1.2	2
6	2.7	5.1	1.6	2
5.4	3	4.5	1.5	2
6	3.4	4.5	1.6	2
6.7	3.1	4.7	1.5	2
6.3	2.3	4.4	1.3	2
5.6	3	4.1	1.3	2
5.5	2.5	4	1.3	2
5.5	2.6	4.4	1.2	2
6.1	3	4.6	1.4	2
5.8	2.6	4	1.2	2
5	2.3	3.3	1	2
5.6	2.7	4.2	1.3	2
5.7	3	4.2	1.2	2
5.7	2.9	4.2	1.3	2
6.2	2.9	4.3	1.3	2
5.1	2.5	3	1.1	2
5.7	2.8	4.1	1.3	2
6.3	3.3	6	2.5	3
5.8	2.7	5.1	1.9	3
7.1	3	5.9	2.1	3
6.3	2.9	5.6	1.8	3
6.5	3	5.8	2.2	3
7.6	3	6.6	2.1	3
4.9	2.5	4.5	1.7	3
7.3	2.9	6.3	1.8	3
6.7	2.5	5.8	1.8	3
7.2	3.6	6.1	2.5	3
6.5	3.2	5.1	2	3
6.4	2.7	5.3	1.9	3
6.8	3	5.5	2.1	3
5.7	2.5	5	2	3
5.8	2.8	5.1	2.4	3
6.4	3.2	5.3	2.3	3
6.5	3	5.5	1.8	3
7.7	3.8	6.7	2.2	3
7.7	2.6	6.9	2.3	3
6	2.2	5	1.5	3
6.9	3.2	5.7	2.3	3
5.6	2.8	4.9	2	3
7.7	2.8	6.7	2	3
6.3	2.7	4.9	1.8	3
6.7	3.3	5.7	2.1	3
7.2	3.2	6	1.8	3
6.2	2.8	4.8	1.8	3
6.1	3	4.9	1.8	3
6.4	2.8	5.6	2.1	3
7.2	3	5.8	1.6	3
7.4	2.8	6.1	1.9	3
7.9	3.8	6.4	2	3
6.4	2.8	5.6	2.2	3
6.3	2.8	5.1	1.5	3
6.1	2.6	5.6	1.4	3
7.7	3	6.1	2.3	3
6.3	3.4	5.6	2.4	3
6.4	3.1	5.5	1.8	3
6	3	4.8	1.8	3
6.9	3.1	5.4	2.1	3
6.7	3.1	5.6	2.4	3
6.9	3.1	5.1	2.3	3
5.8	2.7	5.1	1.9	3
6.8	3.2	5.9	2.3	3
6.7	3.3	5.7	2.5	3
6.7	3	5.2	2.3	3
6.3	2.5	5	1.9	3
6.5	3	5.2	2	3
6.2	3.4	5.4	2.3	3
5.9	3	5.1	1.8	3

二、代码

import math
import random


def deDv(D, a, v, v1, v2):  # 得到Dv
    for i in range(len(D[a])):  # 属性a列遍历
        if D[a][i] >= v:  # 找到属性v
            for j in range(len(D)):  # D属性遍历
                v1[j].append(D[j][i])  # D的属性加到v1上
        else:
            for j in range(len(D)):  # D属性遍历
                v2[j].append(D[j][i])  # D的属性加到v2上


def Ent(D):  # Ent(D)  信息熵
    x = list(set(D[4]))  # 取得无重复标签的列表
    if len(x) == 0:  # 数据为空
        return 0
    x1 = x[0]  # D中样本标签第一类
    c = 0  # 计数
    for j in D[4]:  # 遍历标签
        if j == x1:  # 如果标签一样
            c = c + 1  # 计数加一
    pk1 = c / len(D[4])  # 第一类标签的频率
    if pk1 == 0 or pk1 == 1:  # 如果有0(防止log 0)
        return 0  # 信息熵为 0
    x1 = x[1]  # D中样本标签第二类
    c = 0  # 计数
    for j in D[4]:  # 遍历标签
        if j == x1:  # 如果标签一样
            c = c + 1  # 计数加一
    pk2 = c / len(D[4])  # 第二类标签的频率
    if pk1 + pk2 == 1:  # 没有其他标签
        return -(pk1 * math.log(pk1, 2) + pk2 * math.log(pk2, 2))  # 只有两种标签
    pk3 = 1 - pk1 - pk2
    return -(pk1 * math.log(pk1, 2) + pk2 * math.log(pk2, 2) + pk3 * math.log(pk3, 2))  # 三种标签


def Gain(D, i, m, t):  # 求信息增益
    MaxG = 0  # 储存最大的信息增益
    Maxt = 0  # 储存最优的划分值
    EntD = Ent(D)  # 避免重复计算
    sumG = 0  # 划分后信息熵
    for j in D[i]:  # 遍历所有属性
        sumG = 0  # 划分后信息熵
        Dv1 = [[], [], [], [], []]  # 以j划分,左边的子集
        Dv2 = [[], [], [], [], []]  # 以j划分,右边的子集
        deDv(D, i, j, Dv1, Dv2)  # 得到Dv
        if len(Dv1[0]) != 0:
            sumG = sumG + len(Dv1[0]) / len(D[0]) * Ent(Dv1)  # 求划分后Dv1信息熵
        if len(Dv2[0]) != 0:
            sumG = sumG + len(Dv2[0]) / len(D[0]) * Ent(Dv2)  # 求划分后Dv2信息熵
        sumG = EntD - sumG  # 求划分后信息增益
        if MaxG < sumG:  # 找最大的信息增益
            MaxG = sumG  # 最大信息增益
            Maxt = j  # 最大划分值
    m.append(MaxG)  # m加上最大信息增益
    t.append(Maxt)  # t加上最优划分值


def TreeGenerate(D):  # 递归生成决策树
    y = []  # 生成节点
    if len(set(D[4])) == 1:  # 如果里面节点类型一样
        return D[4][0]  # 返回这个值
    Gm = []  # 分类的信息增益
    Gt = []  # 分类的数值
    for i in range(4):
        Gain(D, i, Gm, Gt)  # 计算所有的信息增益
    Gm = Gm.index(max(Gm))  # 得到a*位置的下标(最优划分属性)
    Gt = Gt[Gm]  # 得到a*最优划分属性的划分值(最优划分值)
    y.append(Gm)
    y.append(Gt)
    Dv1 = [[], [], [], [], []]  # 以属性Gm中的Gt划分,左边的子集
    Dv2 = [[], [], [], [], []]  # 以属性Gm中的Gt划分,右边的子集
    deDv(D, Gm, Gt, Dv1, Dv2)  # 得到Dv
    y1 = []  # 生成分支
    if len(Dv1) == 0:  # Dv1为空
        y1.append(max(D[4], key=D[4].count))  # D中最多的取值
    else:
        y1.append(TreeGenerate(Dv1[:]))  # 递归调用
    y.append(y1)
    y1 = []  # 生成分支
    if len(Dv2) == 0:  # Dv2为空
        y1.append(max(D[4], key=D[4].count))  # D中最多的取值
    else:
        y1.append(TreeGenerate(Dv2[:]))  # 递归调用
    y.append(y1)
    return y


def panduan(D, y, i):
    if isinstance(y, int):  # 如果是数字,说明是结果
        return y  # 返回结果
    x = D[y[0]]  # 取分类列
    if x[i] >= y[1]:
        y1 = y[2][0]  # 取分支
        return panduan(D, y1, i)  # 递归分支
    else:
        y1 = y[3][0]  # 取分支
        return panduan(D, y1, i)  # 递归分支


def wucha(D, y):  # 计算分类误差
    c = 0  # 误差数
    for i in range(len(D[0])):
        if panduan(D, y, i) != D[4][i]:  # 决策树判断不等于标签
            print(D[0][i], D[1][i], D[2][i], D[3][i], D[4][i], panduan(D, y, i))
            c = c + 1  # 误差数加一
    return c / len(D[0])  # 返回误差比例


f = open('Iris.txt', 'r')  # 读文件
x = [[], [], [], [], []]  # 花朵属性,(0,1,2,3),花朵种类
x1 = [[], [], [], [], []]
x2 = [[], [], [], [], []]
y = []  # 分支节点[分支类,[分支节点1],[分支节点2]···]  递归决策树
y1 = []
while 1:
    yihang = f.readline()  # 读一行
    if len(yihang) <= 1:  # 读到末尾结束
        break
    fenkai = yihang.split('\t')  # 按\t分开
    for i in range(5):  # 分开的五个值
        x[i].append(eval(fenkai[i]))  # 化为数字加到x中
print('数据集===============================================')
print(len(x[0]))
for i in range(len(x)):
    print(x[i])
x1 = x[:]
print('全训练决策树===============================================')
y = TreeGenerate(x1[:])  # 开始训练
print(y, '\n递归[属性,分类值,第一类,第二类]')
print('误差率:', wucha(x[:], y[:]) * 100, '%')
print('2/3训练决策树==============================================')
l = list(range(150))  # 得到一个顺序序列
random.shuffle(l)  # 打乱序列
x1 = [[], [], [], [], []]
x2 = [[], [], [], [], []]
for i in l[0:100]:  # 截取部分训练集
    for j in range(len(x)):  # D属性遍历
        x1[j].append(x[j][i])  # D的属性加到v1上
for i in l[100:150]:  # 截取部分训练集
    for j in range(len(x)):  # D属性遍历
        x2[j].append(x[j][i])  # D的属性加到v1上
y1 = TreeGenerate(x1)  # 开始训练
print(y1, '\n递归[属性,分类值,第一类,第二类]')
print('误差率:', wucha(x2[:], y1[:]) * 100, )

三、结果

由于随机选取数据,2/3训练决策树结果可能不一样

 

  • 4
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值