决策树的简单信息

最新推荐文章于 2024-05-16 22:32:24 发布
最新推荐文章于 2024-05-16 22:32:24 发布
阅读量429 收藏
点赞数
文章标签： 决策树 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62051873/article/details/121826389
版权

ID3算法 ，C4.5 ，CART

ID3 信息论，信息熵 p(X)为概率，0-1范围所以熵永远大于0

H(X)=-\sum_{x\epsilon \chi } p(x)log_{2}p(x)

单调性，发生概率越高的时间，所携带的信息熵越低

非负性

 累加性 两个独立事件同时发生的信息熵H(A,B)=H(A)+H(B)

该算法利用信息增益来决定优先使用哪个特征进行分裂，信息增益越大就进行该特征分类

信息增益 :划分之前的信息熵减去划分之后的信息熵叫信息增益

A对D划分的期望信息为：

inf_{oA}(D)=\sum_{j=1}^{v}\frac{|D_{j}|}{|D|}info(D_{j})

优点ID3复杂度不高

ID3算法对于离散型特征比如多加一类1，2，3...处理不好，引入C4.5算法

C4.5 算信息增益率

CART：gini系数 在decisiontreeclassifier函数里，尽可能分类的数据纯没有杂质

容易过拟合 要剪枝

max_depth 控制树的最大深度

min_sample_split=8 最小分割样本数

min_sample_leaf=4

随机森林 就是 很多树的结果平均，使结果不会过拟合

m0_62051873
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习之ID3决策树算法简易实现
04-26
ID3算法是机器学习决策树算法入门的最经典算法，值得自己实现一遍。 主要的实现思路分为以下几步： 1、计算子集的信息熵 ...3、通过最大信息增益和训练数据构建决策树模型 4、通过测试数据验证决策树的分类准确率
【机器学习实战】3、决策树
热门推荐
呆呆的猫的博客
03-13 35万+
(声明：本文内容来自机器学习实战和统计学习方法，是两者的整合，并非来自单个书籍）决策树（decision tree）：是一种基本的分类与回归方法，此处主要讨论分类的决策树。在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测
决策树详解
tt丫的博客
07-20 2万+
其中被称为属性a的“固有值”属性a的取值有，其中表示D中所有在属性a上取值为的样本集合。属性a的可能取值数目越多（V越大），IV(a)的值通常会更大。（1）基尼值Gini(D)反映了从数据集D中随机抽取两个样本，其类别标记不一致的概率。Gini(D)越小，数据集D的纯度越高，不确定性越小。（2）基尼指数。...
决策树---信息增益
Huanghuali_的博客
10-27 6157
文章目录一、什么是信息增益？二、决策树的构造引入包1.信息增益2.划分数据集3.递归构建决策树三、在python中使用Matplotlib注解绘制树形图1.Matplotlib注解2.构造注解树四.测试与储存分类器1.使用决策树执行分类2.决策树的存储总结 一、什么是信息增益？ 划分数据集的之前之后信息发生的变化称为信息增益，知道如何计算信息增益，就可以计算每个特征值划分数据集获得的信息增益，获取信息增益最高的特征就是最好的选择。 熵定义为信息的期望值，即计算所有类别所有可能包含的信息期望值，通过以下公式得
决策树简单介绍
百年孤独百年的博客
04-26 1778
本教程介绍了决策树的基本概念、构建过程、算法、应用场景以及Python代码实现。希望本教程能够帮助初学者了解决策树，并通过实例学会如何使用Python实现决策树模型。
决策树的原理及其实现
ZP745210的博客
10-31 1804
决策树（Decision Tree），它是一种以树形数据结构来展示决策规则和分类结果的模型，作为一种归纳学习算法，其重点是将看似无序、杂乱的已知数据，通过某种技术手段将它们转化成可以预测未知数据的树状模型，每一条从根结点（对最终分类结果贡献最大的属性）到叶子结点（最终分类结果）的路径都代表一条决策的规则。
机器学习决策树算法中特征选项的算法实现——信息熵
12-22
机器学习决策树算法中特征选项的算法实现——信息熵 首先我们将信息熵的定义进行阐述: 熵经验熵 我们这里以网上数据贷款申请为例:数据来自（https://blog.csdn.net/c406495762/article/details/75663451） 在...
决策树（Decision Tree）
01-06
决策树，是有监督学习的一种算法，并且是一种基本的分类和回归的方法，也就是说决策树有两种：分类树和回归树。这里我们主要讨论分类树。 1.一个例子理解决策树的原理： 你是否玩过二十个问题的小游戏，游戏的规则很...
决策树和朴素贝叶斯算法简介
01-07
决策树（Decision Tree，DT）分类法是一个简单且广泛使用的分类技术。 决策树是一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3种结点：根结点、内部结点和叶子结点。决策树只有一个根结点，是全体...
机器学习实战 决策树的构造
01-20
决策树的构造 我的微信公众号： s406205391; 欢迎大家一起学习，一起进步！...**决策树流行的很重要的原因就是他的工作很简单，不需要了解机器学习的知识。下图所示的流程图就是一个决策树。图中构
机器学习之决策树
Green_horn_new的博客
05-14 1149
特征a对训练数据集D信息增益g(D,a),定义为集合D的熵H(D)与特征a给定条件下D的熵H(D|a)之差。2.可处理连续数值型属性，也增加了对缺失值处理方法 3.只适合于能够驻留于内存的数据集，大数据集无能为力。故，Gini(D)值越小，数据集D纯度越高。gini或entropy，前者代表基尼指数，后者代表信息增益，默认gini，即CART算法。分类树使用叶子节点多数类别作为预测类别，回归树则采用叶子节点里均值作为预测输出。若当前节点划分不能提高决策树泛化性能，则停止划分并将当前节点标记为叶节点。
Python 机器学习 基础 之 监督学习 [朴素贝叶斯分类器] / [决策树] 算法 的简单说明 / [graphviz] 绘制决策树
仙魁XAN
05-14 883
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
机器学习数据表示为阵列
dc爱傲雪和技术
05-15 601
了解了如何使用 Python 访问和重塑 NumPy 数组中的数据。1.如何将列表数据转换为 NumPy 数组2.如何使用 Pythonic 索引和切片访问数据。3.如何调整数据大小以满足某些机器学习 API 的期望。
机器学习-----集成学习
djylovehzt的博客
05-15 892
Adaptive Boosting(自适应提升)基于Boosting思想实现的一种集成学习算法核心思想是通过逐步提高那些被钱一步分类错误的样本的权重来训练一个强分类器.弱分类器的性能比随机猜测强就行,即可构造出一个非常准确的强分类器.其特点是:训练时,样本具有权重,并且在训练过程中动态调整.被分错的样本的样本会加大权重,算法更加关注难分的样本。这种方法训练得到的模型复杂度较高，很容易出现过拟合。1.对特征值x进行排序.确定分裂点为:0.5,1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.,5。
梯度下降算法的实现【python，算法，机器学习】
最新发布
xiangfeng666的博客
05-16 431
上述代码中，巧妙的利用矩阵乘法规则实现了求和计算，这样使得梯度计算更加简便，最后计算得出的(\theta0, \theta1)便是所求直线的参数。然后对这个代价函数求偏导数，根据偏导公式，进行迭代计算，当梯度下降到一定程度，完成计算，获取最后的。场景是一个简单的线性回归的例子：假设现在我们有一系列的点，我们将用梯度下降法来拟合出这条直线！首先，我们需要定义一个代价函数，在此我们选用均方误差代价函数。表示实测的数据集，你可以根据实际情况进行替换。
数据不平衡：使用其他机器学习方案，修改算法
llf000000的博客
05-14 132
神经网络在面对不均衡数据时，是束手无策的。有些机器学习方法，像决策树就不会受到不均衡数据的影响。
Fuzzy C-Means (FCM) 聚类解析：为何它在某些场景下优于其他聚类算法
qlkaicx的博客
05-14 362
聚类是数据分析中的一项基本任务，涉及将数据集中的对象分组，使得同一组内的对象比不同组间的对象更为相似。其中，模糊C均值（Fuzzy C-Means, FCM）聚类算法由于其独特的特性，在许多应用中表现出色，甚至超越了K均值、密度聚类和层次聚类等传统聚类算法。**这种模糊的隶属概念在许多真实世界的数据集中是有优势的，尤其是在聚类边界不是非常清晰的情况下。在实际应用中，数据往往包含噪声和异常值，FCM通过软聚类机制，可以减少这些因素对最终聚类结果的负面影响。：在图像分割中，FCM能够帮助识别模糊或重叠的对象。
机器学习——线性回归模型
qq_51179608的博客
05-14 282
线性回归模型的训练和预测，并包含了数据预处理、损失函数计算、梯度下降优化等步骤。加载数据、数据标准化、添加偏置值、训练模型、预测、以及可视化训练过程和预测结果。
机器学习-MLP预测
ZSC001127的博客
05-14 282
本文使用机器学习MLP对数据进行预测。
信息增益决策树代码实现
04-18
信息增益决策树是一种常用的机器学习算法，用于分类和回归问题。下面是一个简单的信息增益决策树的代码实现示例： ```python import numpy as np class DecisionTree: def __init__(self): self.tree = {} def calc_entropy(self, y): classes, counts = np.unique(y, return_counts=True) probabilities = counts / len(y) entropy = -np.sum(probabilities * np.log2(probabilities)) return entropy def calc_information_gain(self, X, y, feature_idx, threshold): left_mask = X[:, feature_idx] <= threshold right_mask = X[:, feature_idx] > threshold left_entropy = self.calc_entropy(y[left_mask]) right_entropy = self.calc_entropy(y[right_mask]) left_weight = len(y[left_mask]) / len(y) right_weight = len(y[right_mask]) / len(y) information_gain = self.calc_entropy(y) - (left_weight * left_entropy + right_weight * right_entropy) return information_gain def find_best_split(self, X, y): best_feature_idx = None best_threshold = None best_information_gain = -np.inf for feature_idx in range(X.shape): thresholds = np.unique(X[:, feature_idx]) for threshold in thresholds: information_gain = self.calc_information_gain(X, y, feature_idx, threshold) if information_gain > best_information_gain: best_information_gain = information_gain best_feature_idx = feature_idx best_threshold = threshold return best_feature_idx, best_threshold def build_tree(self, X, y): if len(np.unique(y)) == 1: return np.unique(y) best_feature_idx, best_threshold = self.find_best_split(X, y) if best_feature_idx is None or best_threshold is None: return np.argmax(np.bincount(y)) left_mask = X[:, best_feature_idx] <= best_threshold right_mask = X[:, best_feature_idx] > best_threshold left_subtree = self.build_tree(X[left_mask], y[left_mask]) right_subtree = self.build_tree(X[right_mask], y[right_mask]) self.tree = { 'feature_idx': best_feature_idx, 'threshold': best_threshold, 'left': left_subtree, 'right': right_subtree } def fit(self, X, y): self.build_tree(X, y) def predict(self, X): predictions = [] for sample in X: node = self.tree while isinstance(node, dict): if sample[node['feature_idx']] <= node['threshold']: node = node['left'] else: node = node['right'] predictions.append(node) return predictions ``` 这段代码实现了一个简单的信息增益决策树，包括计算熵、计算信息增益、寻找最佳分割点、构建决策树、拟合数据和预测等功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值