3_1决策树(Decision_Tree_ID3)——calcShannonEnt_3_1

最新推荐文章于 2023-01-08 09:43:27 发布
最新推荐文章于 2023-01-08 09:43:27 发布
阅读量2.2k 收藏 5
点赞数 2
分类专栏： 原创 机器学习 机器学习实战 文章标签： 机器学习 算法 重构 注释
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34450046/article/details/70665161
版权

声明：《机器学习实战》代码详细注释和重构，以及相关的函数、模块和算法的解释；本文为博主原创文章，未经博主允许不得转载。

  1. 计算给定数据集的香农熵（程序清单3-1）
    *#代码：Peter Gong_shuai
    *#中文注释：Gong_shuai
    *#代码重构：Gong_shuai
    *#函数注解：Gong_shuai
    *#相关的函数、模块和算法的解释：Gong_shuai
    *#环境：Python2.7、Sublime Text3、mac

  2. 代码

#coding=utf-8
#计算给定数据集的香农熵（程序清单3-1）

#源代码：Peter  Gong_shuai
#中文注释：Gong_shuai
#代码重构：Gong_shuai
#函数注解：Gong_shuai
#环境：python2.7



from numpy import *
import oper
最低0.47元/天 解锁文章
Gong_Shuai
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python3 机器学习之计算香农熵
iCloudEnd的博客
01-02 1344
Python3 机器学习之计算香农熵 from math import log # 函数说明:计算给定数据集的经验熵(香农熵) def calcShannonEnt(dataSet): numEntires = len(dataSet) #返回数据集的行数 labelCounts = {} ...
决策树（Decision Tree）分类算法原理及应用
张晨光老师的播客
03-30 6006
4.1概述 决策树——是一种被广泛使用的分类算法。相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置。在实际应用中，对于探测式的知识发现，决策树更加适用。 决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。 4.2算法思想 通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ ...
《机器学习实战》第3章决策树程序清单3-1 计算给定数据集的香农熵calcShannonEnt()运行过程...
weixin_34248118的博客
02-01 1022
from math import log def calcShannonEnt(dataSet): numEntries = len(dataSet) print("样本总数：" + str(numEntries)) labelCounts = {} #记录每一类标签的数量 #定义特征向量featVec for featVec i...
机器学习实战|决策树
weixin_43340821的博客
12-26 1083
1 决策树的构造 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据 缺点：可能产生过度匹配问题 适用数据类型：数值型和标称型 解决的首要问题：当前数据集上哪个特征在划分数据分类时起决定性作用 创建分支的伪代码函数createBranch(): 检测数据集中的每个子项是否属于同一分类； if so return 类标签； Else 寻找划分数据集的最好特征 划分数据集 创建分支节点 for 每个划分的子集 调用函数createBranch并增加返回结果到分支
决策树的Python代码分析（一）
u012580217的专栏
06-09 3425
参考书籍：《机器学习实战》 熵的计算 from math import logdef calcShannonEnt(dataSet): numEntries = len(dataSet) //求dataset的元素个数，dataSet的类型是列表 labelCounts = {}
『机器学习实战』决策树
L聪记博客
11-07 376
代码： #! /usr/bin/env python # coding: utf-8 from math import log import operator def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: currentLabel = f
机器学习笔记（4）——ID3决策树算法及其Python实现
小赵的博客
09-27 3万+
决策树是一种基于树结构来进行决策的分类算法，我们希望从给定的训练数据集学得一个模型（即决策树），用该模型对新样本分类。决策树可以非常直观展现分类的过程和结果，一旦模型构建成功，对新样本的分类效率也相当高。 最经典的决策树算法有ID3、C4.5、CART，其中ID3算法是最早被提出的，它可以处理离散属性样本的分类，C4.5和CART算法则可以处理更加复杂的分类问题，本文重点介绍ID3算法。 举个...
机器学习_3:决策树的构建及应用
chuxiao_scx的博客
10-28 1896
文章目录实验背景1.决策树算法原理1.1.什么是决策树1.2.如何构建好的决策树1.2.1.香浓熵1.2.2.信息增益1.2.3.信息增益率1.2.4.基尼指数1.3.如何优化构建完的决策树1.3.1.预剪枝1.3.2.后剪枝2.三种决策树构造2.1.基于信息增益构造的决策树（ID 3）2.2.基于信息增益率构造的决策树（C 4.5）2.3.基于基尼指数构造的决策树（CART）3.决策树测试4.总结 实验背景 在之前的实验： 机器学习_1:K-近领算法 机器学习_2:K-近领算法 我们了解到了K-近邻算法是
机器学习——决策树
Dujing2019的博客
08-01 939
机器学习——决策树（一）决策树的构造3.1 信息增益1.2 划分数据集1.3 递归构建决策树（二）在 Python 中使用 Matplotlib 注解绘制树形图2.1 Matplotlib 注解2.2构造注解树（三）测试和存储分类器3.1 测试算法：使用决策树执行分类3.2 实用算法：决策树的存储（四）示例：使用决策树预测隐形眼镜类型 （一）决策树的构造 决策树（decision tree）是一类...
TDT4300-Assignment-4-Decision-Tree:使用决策树分类器对有毒蘑菇进行分类
04-09
TDT4300-分配4-决策树 使用决策树和K近邻分类器对有毒蘑菇进行分类。
机器学习笔记：ID3算法建立决策树(二)
望月思灵
09-23 2000
在《机器学习笔记：ID3算法建立决策树(一)》中记录了ID3算法的计算公式和步骤，现在用例子记录一下ID3构建决策树的过程。 对以下数据进行分类： - 是否能飞？ 是否有羽毛？ 是小鸟？ 1 是 是 是 2 是 是 是 3 是 否 否 4 否 是 否 5 是 否 是 是否能飞用0,1表示，0不能飞，1能飞
ID3决策树原理及其实现（简单易懂，附测试函数）
weixin_43965454的博客
07-29 906
第一次种树：先向大佬学习：https://blog.csdn.net/yangliuy/article/details/7322015 话不多说，开始干！ 决策树作为最常用的机器学习方法，也是最容易理解的算法，顾名思义，就是对当前样本做出决策。 举个栗子： 晴天，空气湿度正常–>可以外出活动 但是决策树不是这么简单的照本宣科，它的一大功能：对未知属性集合做出决策 这其实也暗示着：得到一颗决策...
【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战（图文解释 超详细）
最新发布
showswoller的博客
01-08 5794
【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战（图文解释 超详细）
机器学习算法--（二）决策树--代码详解
flowingfish的博客
08-08 738
决策树 目录 决策树 1.计算香农熵：​ 2.按照给定特征划分数据集 3.寻找最好的数据集划分方式 4.多数表决处理非唯一类别分组 5.创建树 6.绘制注解树节点 7.获取叶节点的数目和树的层数 8.绘制 9.完整代码 1.计算香农熵： from math import log """ 计算数据的香农熵 """ def calcshannonEnt(dat...
机器学习实战之决策树
weixin_33672109的博客
04-16 81
决策树优特点：优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型 使用ID3算法划分数据集并构建决策树： from math import log import pickle #计算香农熵 def calcShannonEnt(dataSet): numEnt...
Python机器学习（三）--决策树算法
热门推荐
alvine008的专栏
07-14 5万+
一、决策树原理 决策树是用样本的属性作为结点，用属性的取值作为分支的树结构。 决策树的根结点是所有样本中信息量最大的属性。树的中间结点是该结点为根的子树所包含的样本子集中信息量最大的属性。决策树的叶结点是样本的类别值。决策树是一种知识表示形式，它是对所有样本数据的高度概括决策树能准确地识别所有样本的类别，也能有效地识别新样本的类别。   决策树算法ID3的基本思想： 首先找出最有
机器学习实战 决策树 算法 笔记
木琦
11-07 3577
卧槽 尼玛发现个史诗巨鳄 _name_ 如果加上_name_ 会报错 str object has no attribute ‘_name_‘ 我在Python27下亲自试过 不加_name_ type(secondDict[key]) 直接输出的就是type'dict' 或者是 type'str' 但是最重要事情来了。。。'dict' 和dict的区别 ==右侧如果是'dict' 直接字典就不是字典了。。而改成dict 不加单引号 就正确了 加上单引号直接就是叶子节点2 深度是1 但是如果不加单引号就
机器学习实战决策树（一）——信息增益与划分数据集
Tracy1226的博客
10-27 1052
from math import log #计算给定的熵 def calcsahnnonent(dataset): numentries = len(dataset) #计算实例的总数 labelcounts ={} #创建一个数据字典 for featvec in dataset: currentl...
ID3决策树算法原理与实现
内容涵盖了决策树的决策过程、ID3算法的选择最优划分属性的依据——信息增益，以及如何利用信息熵来度量样本集合的纯度。" 决策树是一种常见的机器学习算法，用于分类和回归任务。它的结构直观易懂，以树形结构表示...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值