《机器学习（周志华）》 习题4.3答案

最新推荐文章于 2022-10-21 21:18:31 发布
原创 最新推荐文章于 2022-10-21 21:18:31 发布
· 7.5k 阅读 · 8 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

问题：编程实现基于信息熵（信息增益）进行划分进行划分选择的决策树算法，并为表4.3（西瓜数据集3.0）中数据生成一棵决策树。

代码生成结果与书本结果基本一致，唯有(触感=硬滑)和(触感=软粘)时我的答案分别是（坏瓜）和（好瓜），而书本答案恰好相反。这里应为书本错误，因为根据数据人肉眼判定，稍糊硬滑的数据都为否，稍糊软粘数据都为是。如果有和我结论不一致的同学，欢迎指正！感谢ICS_的指出，在周老师的主页勘误表里已经修改此处错误，第一版第五次印刷及以后的书应该都没有此问题。

数据为中文，所以由中文编码问题导致很多trick，部分已在代码中指出。

python代码如下：

#coding: utf-8 
import math

class Node:
	def __init__(self, divided_by=None, condition=None, sons=[], label=None):
		self.divided_by = divided_by # node is divided by this, None if it
最低0.47元/天 解锁文章
周志华机器学习第四章例题4.3
lzaya0000的博客
03-02 1220
作为一个萌新花了三天终于做出来了，普大喜奔，借鉴了机械学习实战的部分写法，把带有连续型特征值的决策树做了出来。 import math import numpy as np import operator dataset = np.array([[0,0,0,0,0,0,0.697,0.460,1], [1,0,1,0,0,0,0.774,0.376,1], [1,0,0,0,0,0,0.634,...
机器学习（周志华）西瓜书 课后习题4.3 信息熵决策树算法——python实现（包括树的可视化）
qq_42349870的博客
08-03 9825
机器学习（周志华）西瓜书 课后习题4.3 信息熵决策树算法——python实现 算法原理 1.信息熵 2.信息增益 我们所以要做的就是不断地从当前剩余的属性当中选取最佳属性对样本集进行划分。 算法的伪代码 数据集 Python实现 由于基于信息增益的决策树算法一般适用于离散属性，若要处理连续属性则必须将其按照一定规则转为离散属性。所以在接下来的代码实现当中并未处理连续属性 1. 信息熵的计算 def entropy(D): count=D.shape[0] Ent=0.0 t
周志华《机器学习》4.3 剪枝处理 笔记
lvweishuai001的博客
12-10 980
剪枝处理 在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就有可能把训练样本学习的太好，以至于把训练集的某一些特点当做是所有数据都具有的一般性质，这时就发生了过拟合。因此可以通过主动去掉一些分支来降低过拟合的风险。剪枝是决策树学习算法对付“过拟合”的主要手段。 决策树剪枝的基本策略有两种： （1）预剪枝 ：预剪枝是在决策树生成过程中，对每个结点在划...
周志华《机器学习》课后习题4.3（决策树）
weixin_43242765的博客
10-26 2835
作业使用了如下数据集（不包括含糖率） 对各特征及取值进行编号 根据书上的方法进行编写 Divide_Select.py: import math data = [[0, 0, 0, 0, 0, 0, 0.697, 1], [1, 0, 1, 0, 0, 0, 0.774, 1], [1, 0, 0, 0, 0, 0, 0.634, 1], [0, 0, 1, 0, 0, 0, 0.608, 1], [2, 0, 0, 0, 0, 0, 0.
《机器学习》周志华 习题答案4.3
weixin_30471561的博客
07-03 495
　　原题，对西瓜数据集用决策树来进行划分，此处我只选取了西瓜的密度和含糖率这两个连续属性来进行划分， #!/usr/bin/python # -*- coding:utf-8 -*- import numpy as np import matplotlib.pyplot as plt from matplotlib import colors from sklearn.discri...
机器学习（周志华）学习笔记四：第四章习题4.3
mddh_123的博客
12-04 809
前文 学习笔记三 一、决策树模型 通常，人在判断事物的时候，有一个决策流程。决策树模型正是模拟了这样的机制。在由N个属性描述的N维空间中，决策树中的每一个结点都相当于该N维空间中的一个超平面。决策树的枝干结构则体现了N维空间中这些超平面的交并关系。 由于自己编写的程序由8个维度的属性描述，应该是无法用坐标图来描述的。所以这里借用书上的例子介绍。 图示决策树存在四个结点，也就存在四个超平面，在二维...
周志华《机器学习》课后习题个人解答
01-30
周志华《机器学习》课后习题个人解答。各算法都拿numpy和pandas实现了一遍
周志华《机器学习》课后习题系列答案——4.3
weixin_40856057的博客
05-08 1万+
周志华《机器学习》课后习题系列答案 （1）课后习题：4.3 试编程实现基于信息熵进行划分选择的决策树算法，并为表4.3中的数据生成一颗决策树 下图是书中按照表4.3生成的数据 下图是按照书中的思路编程实现的树结构。 现在抛出一个问题：首先我的程序自己仔细调试过，认为没有问题，但是程序将软粘划分为了好瓜，而书中软粘是坏瓜。不过按照书中数据，当纹理=稍糊，只有当触感=软粘的时候才出现了好瓜（即书中...
周志华《机器学习》习题答案（不断更新中）
热门推荐
Mr____Cheng的博客
10-04 4万+
文章目录第1章 绪论 第1章 绪论 1.1 求版本空间 先看书中示例 版本空间： 从假设空间删除掉与正例不一致和与反例一致的假设后，剩余的假设所组成的集合。它可以看成是对正例的最大泛化。 表1.1的训练数据集对应的假设空间应该如下： 1 色泽＝＊，根蒂＝＊，敲声＝＊ 2 色泽＝青绿，根蒂＝＊，敲声＝＊ 3 色泽＝乌黑，根蒂＝＊，敲声＝＊ 4 色泽＝＊，根蒂＝蜷缩，敲声＝＊ 5 色泽＝＊，根蒂＝硬挺，敲声＝＊ 6 色泽＝＊，根蒂＝稍蜷，敲声＝＊ 7 色泽＝＊，根蒂＝＊，敲声＝浊响 8 色泽＝＊，根蒂＝＊
机器学习（周志华）课后习题
paintShadow的博客
10-21 1万+
机器学习记录
周志华《机器学习》课后习题的编程答案及数据集，纯python实现未使用框架，阅读起来更容易理解算法.zip
02-21
周志华《机器学习》课后习题的编程答案及数据集，纯python实现未使用框架，阅读起来更容易理解算法
《机器学习》周志华课后习题答案——第四章 (1-5已完结)
weixin_45626630的博客
11-24 1万+
《机器学习》周志华课后习题答案一第四章 (1-5已完结) 文章目录《机器学习》周志华课后习题答案一第四章 (1-5已完结)一、试证明对于不含冲突数据(即特征向量完全相同但标记不同)的训练集,必存在与训练集一致(即训练误差为 0)的决策树.二、试析使用“最小训练误差”作为决策树划分选择准则的缺陷.三、试编程实现基于信息熵进行划分选择的决策树算法,并为表4.3中数据生成一棵决策树.四、试编程实现基于基尼指数进行划分选择的决策树算法,为表4.2中数据生成预剪枝、后剪枝决策树,并与未剪枝决策树进行比较.五、试编程实
周志华《机器学习》习题4.3
WUTab的博客
12-20 3387
为表4.3中数据生成一棵决策树。代码是在《机器学习实战》的代码基础上改良的，借用了numpy, pandas之后明显简化了代码。表4.3的数据特征是离散属性和连续属性都有，问题就复杂在这里。话不多说，看代码。 先定义几个辅助函数，正常的思路是先想宏观算法，然后需要什么函数就定义什么函数。import math import pandas as pd import numpy as npfrom t
周志华《机器学习》课后习题解答系列（五）：Ch4.3 - 编程实现ID3算法
Snoopy_Yuan技术部落格
04-03 1万+
这里采用了自己编程的方式实现ID3算法，并基于西瓜数据集生成了决策树，评估了其好坏。
西瓜书（机器学习_周志华）课后题答案
野蛮水蜜桃。
12-28 8429
我自己瞎做的、多多交流  答案：    答案： 采用10折交叉验证，因为取样是随机的，所以获得的结果是50% 如果采用留一法，不管最后留下来是正例还是反例，都会和预测结果不一致，（如果留下正例，预测集中反例占多数，预测结果为反例，反之亦然），所以对错误率进行评估的结果是100%  答案：    答案： 真正例率：正例中被预测为正例的比例   TP/(TP+FN) ...
《机器学习》周志华课后习题答案——第一章（1-3题完结）
weixin_45626630的博客
11-09 9666
《机器学习》周志华课后习题答案——第一章 文章目录《机器学习》周志华课后习题答案——第一章一、表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间二、与使用单个合取式来进行假设表示对比……（题目看图） 一、表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间 对于这个题，网上流传的答案版本空间大概有7种甚至9种，依愚愚解，我认为只有4种。因为最终是要得出“某个”西瓜是“好瓜”的结论，故只有四种。 二、与使用单个合取式来进行假设表示对比……（题目看图） （部分引用自https:/
《机器学习》习题4.3
weixin_41864235的博客
05-09 1256
题目：4.3 试编程实现基于信息熵进行划分选择的决策树算法，为表4.3种数据生成一颗决策树 参考链接 ：https://blog.csdn.net/wutab/article/details/53762730
机器学习（周志华）课后作业/习题答案
Mr_Cat123的博客
01-23 2万+
前言：本作业系笔者通过个人思考、参考博文、引擎搜索、查阅资料等各种途径完成，因此必然有解答不当之处。故本系列答案仅仅作为笔者个人笔记使用（相当于笔者的在线笔记本，因此仅一家之言）。此外笔者只完成部分认为有用的问题。 持续更新中… 第一章 1.1 通常情况下，版本空间是正例的泛化。在我们确定学习目标之后（比如找到“好瓜”，视为正例），可能有多个假设（hypothesis）是跟我们的目标一致的，满足...
《机器学习》(周志华)课后习题参考答案
qq_31688497的博客
10-08 3499
https://blog.csdn.net/kchai31/article/details/78966941
编程实现基于信息熵进行划分选择的决策树算法，并为表4.3中数据生成一棵决策树
最新发布
10-29
在编程中，尤其是机器学习领域，基于信息熵（Entropy）的决策树算法主要是ID3（Iterative Dichotomiser 3）和C4.5算法的基础。这里我会概述一个简单的步骤： 1. **信息熵计算**：首先，你需要计算每个特征的信息熵。对于分类问题，信息熵越高，表示该特征对于区分类别越不确定。 2. **特征选择**：选择信息熵最大的特征作为当前节点的分裂依据，将数据集划分为两个子集，每个子集对应该特征的一个取值。 3. **递归过程**：对每个子集继续应用同样的过程，直到满足停止条件，比如子集内的所有实例属于同一类别，或者达到最大深度等。 4. **构建树结构**：形成一个决策树，其中每个内部节点表示一个特征，分支表示该特征的不同取值，叶节点代表最终的类别预测。 对于表4.3的数据，由于没有具体的数值和列名，我无法直接为你生成决策树。通常需要实际数据导入到编程环境中，如Python的`sklearn.tree`库就可以实现这个功能。以下是一个基本示例（假设你有一个名为`df`的DataFrame）： ```python from sklearn import tree import pandas as pd # 确保数据已经预处理并编码为适合决策树的格式 X = df.drop('target_column', axis=1) # 特征列 y = df['target_column'] # 目标列 clf = tree.DecisionTreeClassifier(criterion='entropy') # 使用信息熵作为划分标准 clf.fit(X, y) # 输出决策树模型 tree.export_graphviz(clf, out_file="tree.dot", feature_names=X.columns) ``` 这将生成一个名为"tree.dot"的文件，你可以用Graphviz工具将其转换成可视化图。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值