机器学习-简单了解决策树的逻辑过程

最新推荐文章于 2024-04-30 15:45:22 发布
最新推荐文章于 2024-04-30 15:45:22 发布
阅读量653 收藏 2
点赞数
分类专栏： python 机器学习 文章标签： python 机器学习 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aqours/article/details/107500247
版权

机器学习-决策树

西瓜案例

数据集

编号,色泽,根蒂,敲声,纹理,脐部,触感,好瓜
1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是
2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是
3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是
4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是
5,浅白,蜷缩,浊响,清晰,凹陷,硬滑,是
6,青绿,稍蜷,浊响,清晰,稍凹,软粘,是
7,乌黑,稍蜷,浊响,稍糊,稍凹,软粘,是
8,乌黑,稍蜷,浊响,清晰,稍凹,硬滑,是
9,乌黑,稍蜷,沉闷,稍糊,稍凹,硬滑,否
10,青绿,硬挺,清脆,清晰,平坦,软粘,否
11,浅白,硬挺,清脆,模糊,平坦,硬滑,否
12,浅白,蜷缩,浊响,模糊,平坦,软粘,否
13,青绿,稍蜷,浊响,稍糊,凹陷,硬滑,否
14,浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,否
15,乌黑,稍蜷,浊响,清晰,稍凹,软粘,否
16,浅白,蜷缩,浊响,稍糊,平坦,硬滑,否
17,青绿,蜷缩,沉闷,稍糊,稍凹,硬滑,否

代码


import numpy as np
import pandas as pd

# 决策树API
from sklearn.tree import DecisionTreeClassifier

data = pd.read_csv('./data/data_watermelon.csv')

# 分割X与Y  以及简单处理
data = data.loc[:, '色泽':'好瓜']

# 替换数据集
def replace_data(data):
    # 替换中文
    data = data.replace('青绿', 1)
    data = data.replace('乌黑', 2)
    data = data.replace('浅白', 3)

    data = data.replace('蜷缩', 4)
    data = data.replace('稍蜷', 5)
    data = data.replace('硬挺', 6)

    data = data.replace('浊响', 7)
    data = data.replace('沉闷', 8)
    data = data.replace('清脆', 9)

    data = data.replace('清晰', 10)
    data = data.replace('稍糊', 11)
    data = data.replace('模糊', 12)

    data = data.replace('凹陷', 13)
    data = data.replace('稍凹', 14)
    data = data.replace('平坦', 15)

    data = data.replace('硬滑', 16)
    data = data.replace('软粘', 17)

    data = data.replace('是', 0)
    data = data.replace('否', 1)

    return data

data = replace_data(data)

X = data.loc[:, '色泽':'触感']
Y = data.loc[:, '好瓜':]


# for i in range(1, 10):
#     # 创建树
#     decision_tree = DecisionTreeClassifier(criterion='entropy', max_depth=i)
#
#     # 拟合
#     decision_tree.fit(X, Y)
#
#     # 预测
#     # decision_tree.predict()
#
#     # 评估-  准确率
#     print('树的准确率', i, decision_tree.score(X, Y))
#     print('预测', decision_tree.predict([[1,2,1,2,3,2]]))

decision_tree = DecisionTreeClassifier(criterion='entropy')
decision_tree.fit(X,Y)

from sklearn import tree
import pydotplus

doc = tree.export_graphviz(
    decision_tree=decision_tree,
    out_file=None,
    feature_names=['色泽','根蒂','敲声','纹理','脐部','触感'],
    class_names=['好瓜','坏瓜'],
    filled=True,rounded=True,
    special_characters=True
)

graph = pydotplus.graph_from_dot_data(doc)

graph.write_svg('xx.svg')
graph.write_png('xx.png')

在这里插入图片描述

鸢尾花数据分类

数据 只摘选出一部分

5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
5.4,3.9,1.3,0.4,Iris-setosa
5.1,3.5,1.4,0.3,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
4.4,3.0,1.3,0.2,Iris-setosa
5.1,3.4,1.5,0.2,Iris-setosa
5.0,3.5,1.3,0.3,Iris-setosa
5.0,3.3,1.4,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
5.9,3.2,4.8,1.8,Iris-versicolor
5.5,2.5,4.0,1.3,Iris-versicolor
5.5,2.6,4.4,1.2,Iris-versicolor
6.1,3.0,4.6,1.4,Iris-versicolor
5.8,2.6,4.0,1.2,Iris-versicolor
5.0,2.3,3.3,1.0,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.7,3.0,4.2,1.2,Iris-versicolor
5.7,2.9,4.2,1.3,Iris-versicolor
6.2,2.9,4.3,1.3,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
5.7,2.8,4.1,1.3,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.0,2.2,5.0,1.5,Iris-virginica
6.9,3.2,5.7,2.3,Iris-virginica
5.6,2.8,4.9,2.0,Iris-virginica
7.7,2.8,6.7,2.0,Iris-virginica
6.3,2.7,4.9,1.8,Iris-virginica
6.7,3.3,5.7,2.1,Iris-virginica
7.2,3.2,6.0,1.8,Iris-virginica
6.2,2.8,4.8,1.8,Iris-virginica
6.1,3.0,4.9,1.8,Iris-virginica
6.2,3.4,5.4,2.3,Iris-virginica
5.9,3.0,5.1,1.8,Iris-virginica

代码

import numpy as np
import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

names = ['length', 'width', 'length2', 'width2', 'cla']
data = pd.read_csv('./data/鸢尾花数据分类/iris.data', names=names)

data = data.replace('Iris-setosa', 0)
data = data.replace('Iris-versicolor', 1)
data = data.replace('Iris-virginica', 2)

# iloc是数字  loc是第一行标识
X = data.loc[:, 'length':'width2']
Y = data.iloc[:, -1:]
# 切割数据集
x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size=0.8, random_state=28)

for i in range(1, 10):
    # 创建模型
    decision_tree = DecisionTreeClassifier(criterion='entropy',max_depth=i)
    decision_tree.fit(x_train, y_train)
    print('------------')
    print('训练集合上的分数', decision_tree.score(x_train, y_train))
    print('预测集合上的分数', decision_tree.score(x_test, y_test))
    print('预测', decision_tree.predict(x_test))

# todo KNN数据可视化 需要下载graphviz和pydotplus包，以及在http://www.graphviz.org/download/网址下载此应用，
#  并在path环境变量中添加此应用bin的路径

from sklearn import tree
import pydotplus

# 第一种方式  生成dot文件 然后用命令行将dot转换为ptf
# # 生成dot文件
# with open('./tree.dot', 'w') as write:
#     tree.export_graphviz(decision_tree=decision_tree,out_file=write)

dot = tree.export_graphviz(
    # 模型
    decision_tree=decision_tree,
    # 输出文件
    out_file=None,
    # 特征
    feature_names=['length','width','length2','width2'],
    # 类别
    class_names=['Iris-setosa','Iris-versicolor','Iris-virginica'],
    # 填充，圆角
    filled=True,rounded=True,
    # charset
    special_characters=True)

# 创建图
graph = pydotplus.graph_from_dot_data(dot)

graph.write_svg('tree.svg')

在这里插入图片描述

根据西瓜数据集划分决策树

数据集

编号,色泽,根蒂,敲声,纹理,脐部,触感,好瓜
1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是
2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是
3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是
4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是
5,浅白,蜷缩,浊响,清晰,凹陷,硬滑,是
6,青绿,稍蜷,浊响,清晰,稍凹,软粘,是
7,乌黑,稍蜷,浊响,稍糊,稍凹,软粘,是
8,乌黑,稍蜷,浊响,清晰,稍凹,硬滑,是
9,乌黑,稍蜷,沉闷,稍糊,稍凹,硬滑,否
10,青绿,硬挺,清脆,清晰,平坦,软粘,否
11,浅白,硬挺,清脆,模糊,平坦,硬滑,否
12,浅白,蜷缩,浊响,模糊,平坦,软粘,否
13,青绿,稍蜷,浊响,稍糊,凹陷,硬滑,否
14,浅白,稍蜷,沉闷,稍糊,凹陷,硬滑,否
15,乌黑,稍蜷,浊响,清晰,稍凹,软粘,否
16,浅白,蜷缩,浊响,稍糊,平坦,硬滑,否
17,青绿,蜷缩,沉闷,稍糊,稍凹,硬滑,否

代码


# 书写决策树模型的代码

import numpy as np
import pandas as pd

# 读取数据
data = pd.read_csv('./data/data_watermelon.csv')
# 获得x y
X = data.loc[:, '色泽':'触感']
Y = data.loc[:, '好瓜':]

# 创建ID3
def create_tree(X, Y, Y_index, data, tree):
    '''
    :param X:
    :param Y:
    :return:
    '''

    # 定义最大的信息增益   第一个元素为列索引  第二个元素为信息增益
    max_gain = [-1, -1]
    # 遍历X计算 每一列与Y的信息增益
    for item in X:
        # 计算每一列的信息增益
        gain = get_information_gain(X[item], Y, Y_index, data)
        # 如果计算值大 的话就更新
        if gain > max_gain[1]:
            max_gain[0] = item
            max_gain[1] = gain
        pass
    # 并选择一个信息增益最大的
    tree[max_gain[0]] = {} # tree['纹理'] = {}
    # 划分数据集
    # 遍历信息熵最大的列的类别(纹理)
    for index, item in data[max_gain[0]].value_counts().items():
        item = {}
        # 拿到该条件下的列别         # dropna()去除带有NaN的数据  [Y_index].value_counts() 找Y_index(好瓜|坏瓜)的数量
        target_data = data.where(data[max_gain[0]] == index).dropna()[Y_index]
        # 判断该条件下y的列别有多少，如果只有一个 就直接判断出来
        if len(target_data.value_counts()) == 1:
            # 得到的列别
            print(target_data.iloc[0])
            tree[max_gain[0]][index] = target_data.iloc[0]
            pass
        # 如果有多个 继续遍历
        else:
            data_next = data.where(data[max_gain[0]] == index).dropna()
            x_next = data_next.loc[:, "色泽":"触感"]
            y_next = data_next.loc[:, "好瓜":]
            # todo 递归
            tree[max_gain[0]][index] = create_tree(x_next, y_next, Y_index='好瓜', data=data_next, tree=item)
            pass
        pass
    return tree

# 计算信息增益
def get_information_gain(X, Y, Y_index, data):

    # 计算Y的熵
    entropy = get_entropy(Y, Y_index)
    # 计算条件熵
    conditional_entropy = get_conditional_entropy(X, Y, Y_index, data)
    # 得到信息增益
    information_gain = entropy - conditional_entropy
    print(X.name, information_gain)
    return information_gain

def get_entropy(Y, Y_index):
    y_len = len(Y)
    entropy = 0
    # 遍历所有列
    for item in Y[Y_index].value_counts():
        # print(item) 9 8 这个value_counts()可以区分有几个类
        # 计算概率
        prob = item/y_len
        # 计算每个列别的熵
        entropy += prob * np.log2(prob**(-1))

    return entropy

# 计算条件熵
def get_conditional_entropy(X, Y, Y_index, data):

    # 计算的结果
    conditional_entropy = 0
    # 样本长度
    item_len = len(X)
    for index, item_num in X.value_counts().items():
        # 青绿 6  乌黑 6 浅白  5
        # print(index, item_num)
        # 概率
        prob = item_num/item_len
        I_condition = 0
        for target_index, target_num in Y[Y_index].value_counts().items():
            # 是 8  否 9
            # print(target_index, target_num)
            # 计算条件概率  index : 青绿|乌黑|浅白  X.name:色泽  target_index:是|否   Y_index:好瓜|坏瓜
            conditional_prob = get_conditional_prob(index, X.name, target_index, Y_index, data)
            # 判断对数是否为0
            if conditional_prob == 0:
                I_condition += 0
            else:
                # 确定一个的条件熵
                I_condition += conditional_prob * np.log2(conditional_prob**(-1))
            pass
        conditional_entropy += prob * I_condition
    return conditional_entropy

# 计算条件概率
def get_conditional_prob(condition, column_name, target_y, y_index, data):
    '''
    :param y_index: y的列索引
    :param column_name: 列索引
    :param condition: 在什么条件下，青 黑 白
    :param target_y: 好瓜 害瓜
    :param data: 全部数据
    :return:
    '''
    # 统计分母  这个返回的是True和False
    watermelon_count = (data[column_name] == condition)
    # True ->1  False ->0  统计True False的个数
    denominator = np.sum(watermelon_count.astype('int'))

    # 统计分子 在某条件下好瓜 害瓜 的数量
    molecule = ((data[column_name] == condition) & (data[y_index] == target_y))
    molecule = np.sum(molecule.astype('int'))

    return molecule/denominator

print(create_tree(X, Y, Y_index='好瓜', data=data, tree={}))

运行结果

{'纹理': {
	'清晰': {
		'根蒂': {
			'蜷缩': '是', 
			'稍蜷': {
				'色泽': {
					'乌黑': {
						'触感': {
							'软粘': '否', 
							'硬滑': '是'
								}
							}, 
					'青绿': '是'
						}
					}, 
			'硬挺': '否'
				}
			}, 
	'稍糊': {
		'触感': {
			'硬滑': '否', 
			'软粘': '是'
				}
			}, 
	'模糊': '否'
		}
}

使用sklearn构建Cart回归树

树的划分方式：ID3(信息增益，有几个分类就能分为几叉树) KDTree(方差) C4.5(信息增益率)

from sklearn.tree import DecisionTreeRegressor

import numpy as np
import pandas as pd

# 训练的X
X = [[1],[2],[3],[4],[5],[6],[7],[8],[9],[10]]
# 训练的Y
Y = [[5.56],[5.7],[5.91],[6.4],[6.8],[7.05],[8.9],[8.7],[9],[9.05]]

# 创建树模型 max_depth限制树的深度
decision_tree_reg = DecisionTreeRegressor()

# 给定数据
decision_tree_reg.fit(X,Y)
print(decision_tree_reg.score(X,Y))

print(decision_tree_reg.predict([[7.8]]))#输出[8.7]

from sklearn import tree

import pydotplus

dot = tree.export_graphviz(
    decision_tree=decision_tree_reg,
    out_file=None,
    feature_names=['X'],
    class_names=['Y'],
    filled=True,rounded=True,
    special_characters=True
)

graph = pydotplus.graph_from_dot_data(dot)

graph.write_svg('./data/图.svg')

在这里插入图片描述

Cart分类树

数据集

id,年龄,工作,房子,信贷,类别
1,青年,否,否,一般,否
2,青年,否,否,好,否
3,青年,是,否,好,是
4,青年,是,是,一般,是
5,青年,否,否,一般,否
6,中年,否,否,一般,否
7,中年,否,否,好,否
8,中年,是,是,好,是
9,中年,否,是,非常好,是
10,中年,否,是,非常好,是
11,老年,否,是,非常好,是
12,老年,否,是,好,是
13,老年,是,否,好,是
14,老年,是,否,非常好,是
15,老年,否,否,一般,否

代码

from sklearn.tree import DecisionTreeClassifier

import numpy as np
import pandas as pd

# 读取数据
data = pd.read_csv('./data/data.csv')

data = data.replace('青年', 1)
data = data.replace('中年', 2)
data = data.replace('老年', 3)

data = data.replace('一般', 1)
data = data.replace('好', 2)
data = data.replace('非常好', 3)

data = data.replace('是', 1)
data = data.replace('否', 2)

# X
X = data.loc[:,'年龄':'信贷']

# Y
Y = data.loc[:,'类别':'类别']

# cart树声明出来
decision_tree_cls = DecisionTreeClassifier()

# fit
decision_tree_cls.fit(X,Y)

# score
print(decision_tree_cls.score(X,Y))

# predict

# 模型可视化
from sklearn import tree
import pydotplus

dot = tree.export_graphviz(
    decision_tree=decision_tree_cls,
    out_file=None,
    filled=True,rounded=True
)
graph = pydotplus.graph_from_dot_data(dot)

graph.write_svg('./data/cart.svg')

在这里插入图片描述

案例-使用决策树来预测lol胜负

代码


from sklearn.tree import DecisionTreeClassifier
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

data = pd.read_csv('./data/high_diamond_ranked_10min.csv')
X = data.loc[:,'blueWardsPlaced':'redGoldPerMin']

Y = data.loc[:,"blueWins":'blueWins']

# 切割训练集
x_train, x_test, y_train, y_test = train_test_split(X, Y, random_state=28, test_size=0.2)


#声明树模型
decision_tree = DecisionTreeClassifier(max_depth=3,criterion="entropy")

# fit
decision_tree.fit(x_train,y_train)

# score
print('树最大3层:',decision_tree.score(x_test,y_test))

# predict
from sklearn import tree

import pydotplus

dot = tree.export_graphviz(
    decision_tree=decision_tree,
    out_file=None,
    filled=True,rounded=True,
    feature_names=['blueWardsPlaced','blueWardsDestroyed','blueFirstBlood','blueKills','blueDeaths','blueAssists','blueEliteMonsters','blueDragons','blueHeralds','blueTowersDestroyed','blueTotalGold','blueAvgLevel','blueTotalExperience','blueTotalMinionsKilled','blueTotalJungleMinionsKilled','blueGoldDiff','blueExperienceDiff','blueCSPerMin','blueGoldPerMin','redWardsPlaced','redWardsDestroyed','redFirstBlood','redKills','redDeaths','redAssists','redEliteMonsters','redDragons','redHeralds','redTowersDestroyed','redTotalGold','redAvgLevel','redTotalExperience','redTotalMinionsKilled','redTotalJungleMinionsKilled','redGoldDiff','redExperienceDiff','redCSPerMin','redGoldPerMin'],
    class_names=['bluewin','redwin'],
    special_characters=True
)

graph = pydotplus.graph_from_dot_data(dot)

graph.write_svg('./data/lol.svg')

在这里插入图片描述

轻小說控
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
决策树，聚类算法，逻辑回归
12-18
压缩包包括三种算法的源码和数据，打开就可以直接使用它
机器学习之鸢尾花-决策树
03-21
其他机器学习模型通常需要数据规范化，比如构建虚拟变量和移除缺失值,不过请注意，这种模型不支持缺失值。 由于训练决策树的数据点的数量导致了决策树的使用开销呈指数分布(训练树模型的时间复杂度是参与训练数据点...
《机器学习实战》- 约会网站数据的KNN分析-手写数字KNN分析-PLA算法决策树 朴素-贝叶斯-逻辑回归+源代码+文档说明
12-23
1、资源内容：《机器学习实战》- 约会网站数据的KNN分析-手写数字KNN分析-PLA算法决策树 朴素-贝叶斯-逻辑回归+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标检测模型、智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、智能控制、路径规划、无人机等多种领域的算法仿真实验，更多源码，请上博主主页搜索。 -------------------------------------------------------------------------- -
决策树(Decision Tree)
weixin_42822452的博客
09-26 2109
引用：https://github.com/datawhalechina/Daily-interview/blob/master/machine-learning/DecisionTree.md#%E7%AE%97%E6%B3%95%E5%8D%81%E9%97%AE 决策树(Decision Tree) 决策树是机器学习最常用的算法之一，它将算法组织成一颗树的形式。其实这就是将平时所说的if-t...
机器学习--决策树
最新发布
m0_74239963的博客
04-30 830
速度快准确度高可处理连续字段和种类字段无需领域知识和参数假设适合高维数据。
决策树算法梳理
ZEROWORLD's TIME ZONE Destiny
03-05 145
决策树算法梳理1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3. 回归树原理4. 决策树防止过拟合手段5. 模型评估 1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 熵：描述一个时间的不确定性。 联合熵：A与B同时发生的信息熵。 条件熵：在A发生的情况下B发生的信息熵。 信息增益：Gain为...
python 决策树的底层逻辑
cj12345657582255的博客
07-04 290
实验任务（实验题目、目的） Implementing a binary tree and its common operations with VC++ or Python，and then use this tree to make decision or classification. 利用VC++/Python语言实现对二叉树的基本操作设计，用二叉树进行简单的判定或者分类，要求二叉树结点可以插入和删除。 任务分析 实现思路 构造就是生成一棵完整的决策树。简单来说，构造的过程就是选择什么属性作为节点的过
【机器学习】——逻辑模型：树模型（决策树）
mango_ZZY的博客
08-07 1442
一、决策树 树模型并不只局限于分类场合，而是可用于解决绝大多数机器学习问题，包括排序、概率估计、回归及聚类。 参考：https://www.cnblogs.com/muzixi/p/6566803.html
决策树的原理及其实现
ZP745210的博客
10-31 2174
决策树（Decision Tree），它是一种以树形数据结构来展示决策规则和分类结果的模型，作为一种归纳学习算法，其重点是将看似无序、杂乱的已知数据，通过某种技术手段将它们转化成可以预测未知数据的树状模型，每一条从根结点（对最终分类结果贡献最大的属性）到叶子结点（最终分类结果）的路径都代表一条决策的规则。
系统功能背后的逻辑——树的形成
javawebui的博客
12-16 307
树知识一览：https://www.cnblogs.com/CloudFish/archive/2012/05/09/2493453.html 1.后台返回json格式1： https://blog.csdn.net/claram/article/details/54616485 { “nodeId”: “2”, “nodeName”: “北京市”, “parentNodeId”: “1”, “o...
Python机器学习实验 - 决策树-1模型评估与选择
08-18
3)决策树（DecisionTree） 4)支持向量机（SVM-support vector machine） 5）随机森林（Random Forest） 机器学习实验教材《Python机器学习基础教程》第五章的5.1节194-200页和5.3.2节中214-228页。 注意：忽略...
Python机器学习-信用卡交易的欺诈检测（有数据集） 逻辑回归、KNN、决策树、SVM
02-02
Python机器学习-信用卡交易的欺诈检测（有数据集） 一：导入数据 ...十二：训练四种类型的分类器（逻辑回归、KNN、决策树、SVM） 十三：交叉验证可视化 十四：ROC曲线绘制 十五：AUC和Accuracy指标计算
【数据结构】树的逻辑结构
SuperSources的博客
11-26 4857
树的定义 树：n（n≥0）个结点的有限集合。 当n＝0时，称为空树； 任意一棵非空树满足以下条件： ⑴ 有且仅有一个特定的称为根的结点； ⑵ 当n＞1时，除根结点之外的其余结点被分成m（m>0）个互不相交的有限集合T1,T2,… ,Tm，其中每个集合又是一棵树，并称为这个根结点的子树。 树的定义是采用！！递归！！方法 树的遍历操作 1.树的遍历：从根结点出发，按照某种次序访问树中所有结点，使...
深度之眼 决策树和逻辑回归打卡
wangshujuan的博客
02-09 256
回顾：请参考课本3.3节，对决策树的几个算法（ID3，C4.5，CART）进行总结。其中总结需要包括：算法的整体流程是什么？什么是熵？什么是信息增益？什么是基尼指数？ 算法的整体流程： 特征选择：从训练集中依次选择特征作为决策树的节点，作为根节点的特征能够保证比其它特征的分类效果更好，再根据这种分类效果依次选择非叶子节点。分类效果的评估标准在不同的决策树算法中不同。 树的构建：从根节点开...
机器学习——决策树
凌逆战的博客
10-16 237

 决策树是根据树结构来进行决策的，决策树的最终结果对应了我们所希望的判定结果。一般的一棵树包含一个根节点、若干个内部节点和若干个叶节点；叶结点对应了决策树的结果，其他每个节点对应于一个属性测试；每个结点根据属性测试的结果别划分到子结点中；根结点包含样本的全集。
 
 决策树的生成是一个递归过程，有三种情况会导致递归返回（也就是出结果）：
 1...
决策树学习
gcyangxin的博客
09-07 1786
介绍 从0到1介绍概念，手撕代码 https://www.pkudodo.com/2018/11/30/1-5/ 决策树形状 '#周志华西瓜数据集2.0#' ''' 训练集： #特征 #标签 编号 色泽,根蒂,敲声,纹理,脐部,触感,好瓜 1, 青绿,蜷缩,浊响,清晰,凹陷,硬滑,是 2, 乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是 3, 乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是 4, 青绿,蜷缩,沉闷,清晰,凹陷,硬.
机器学习-决策树裁剪（二）
lyn5284767的专栏
08-24 706
决策树裁剪有两种方式：预裁剪和后裁剪。预裁剪是在划分叶节点时进行计算，如果划分能带来泛化性能则划分，否则不划分。后裁剪是决策树完全划分完毕后，自底向上对结点进行考察，如果性能提升则合并，其训练时间比预裁剪决策树要大得多。 训练数据： 1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是 2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是 3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是 6,青绿,稍蜷,浊响,清晰,稍...
机器学习-ID3决策树算法
fzz97_的博客
01-25 370
主要来源于西瓜书！🍉yyds！ID3决策算法以信息增益为决策准则。
决策树的划分选择
sinat_36391198的博客
08-01 730
定义信息熵： ，其中为第k个样本占比，D为样本集。 定义信息增益： ，其中V为分支节点，a为属性。 使用举例（书上的例子）： 编号 色泽 根蒂 敲声 纹理 脐部 触感 好瓜 1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 是 2 乌黑 蜡缩 沉闷 清晰 凹陷 硬滑 是 3 乌黑 蜡缩 1虫响 清晰 凹陷 硬滑 是 4 青绿 蜷缩 沉闷 清晰 凹陷 硬滑 是 5 浅白 蜷缩 浊响 清晰 ...
机器学习中的逻辑回归 和 决策树有什么区别
08-15
在机器学习中，逻辑回归和决策树的主要区别在于，逻辑回归是一种监督学习算法，用于解决二元分类问题，而决策树是一种用于分类和回归问题的非线性模型。逻辑回归根据给定的输入特征来预测一个离散的输出结果，而决策...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值