周志华《机器学习》第一章 绪论 笔记及习题解答

最新推荐文章于 2024-07-09 16:15:46 发布
最新推荐文章于 2024-07-09 16:15:46 发布
阅读量903 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 机器学习 周志华
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32735511/article/details/89301464
版权

第一章 绪论 笔记

基本术语

假设空间

  训练集中的全部特征的可能取值所形成的假设，加上 ∅ \emptyset ∅（指根本不存在“正例”这个概念） 这种极端假设，所形成的集合叫做假设空间。

版本空间

  在假设空间中删除与正例不一致的假设、和(或)与反例一致的假设，最终将会获得一个能够对所有训练集样本正确分类的一个假设集合，这个集合叫做版本空间。

数据集(训练集)

表1.1 西瓜数据集
编号 色泽 根蒂 敲声 好瓜
1 青绿 蜷缩 浊响 是
2 乌黑 蜷缩 浊响 是
3 青绿 硬挺 清脆 否
4 乌黑 稍蜷 沉闷 否

习题解答

1.1 表1.1中若只包含编号为1和4两个样例，试给出相应的版本空间.

  1. 若只包含1和4，则训练集如下:
编号 色泽 根蒂 敲声 好瓜
1 青绿 蜷缩 浊响 是
4 乌黑 稍蜷 沉闷 否
  1. 因为版本空间是假设空间经过删除与正例不一致的假设、和(或)与反例一致的假设所形成的，所以要得到假设空间:
    色泽、根蒂、敲声 分别有2、2、2种可能取值，有可能每个特征的特征值无论取什么值都合适，此外再加上 ∅ \emptyset ∅ 情况，所以假设空间规模大小为(2+1) × \times ×(2+1) × \times ×(2+1)+1 = 28,如下：

    假设1 色泽＝\＊，根蒂＝\＊，敲声＝\＊
    假设2 色泽＝\＊，根蒂＝\＊，敲声＝浊响
    假设3 色泽＝\＊，根蒂＝\＊，敲声＝沉闷
    假设4 色泽＝\＊，根蒂＝蜷缩，敲声＝\＊
    假设5 色泽＝\＊，根蒂＝蜷缩，敲声＝浊响
    假设6 色泽＝\＊，根蒂＝蜷缩，敲声＝沉闷
    假设7 色泽＝\＊，根蒂＝稍蜷，敲声＝\＊
    假设8 色泽＝\＊，根蒂＝稍蜷，敲声＝浊响
    假设9 色泽＝\＊，根蒂＝稍蜷，敲声＝沉闷
    假设10 色泽＝青绿，根蒂＝\＊，敲声＝\＊
    假设11 色泽＝青绿，根蒂＝\＊，敲声＝浊响
    假设12 色泽＝青绿，根蒂＝\＊，敲声＝沉闷
    假设13 色泽＝青绿，根蒂＝蜷缩，敲声＝\＊
    假设14 色泽＝青绿，根蒂＝蜷缩，敲声＝浊响
    假设15 色泽＝青绿，根蒂＝蜷缩，敲声＝沉闷
    假设16 色泽＝青绿，根蒂＝稍蜷，敲声＝\＊
    假设17 色泽＝青绿，根蒂＝稍蜷，敲声＝浊响
    假设18 色泽＝青绿，根蒂＝稍蜷，敲声＝沉闷
    假设19 色泽＝乌黑，根蒂＝\＊，敲声＝\＊
    假设20 色泽＝乌黑，根蒂＝\＊，敲声＝浊响
    假设21 色泽＝乌黑，根蒂＝\＊，敲声＝沉闷
    假设22 色泽＝乌黑，根蒂＝蜷缩，敲声＝\＊
    假设23 色泽＝乌黑，根蒂＝蜷缩，敲声＝浊响
    假设24 色泽＝乌黑，根蒂＝蜷缩，敲声＝沉闷
    假设25 色泽＝乌黑，根蒂＝稍蜷，敲声＝\＊
    假设26 色泽＝乌黑，根蒂＝稍蜷，敲声＝浊响
    假设27 色泽＝乌黑，根蒂＝稍蜷，敲声＝沉闷
    假设28  ∅ \emptyset ∅

  1. 版本空间
    删除与编号1(正例)相反的假设：3、6-9、12、15、16-28
    删除与编号4(反例)相同的假设：1
    版本空间为剩余假设：2、4、5、10、11、13、14 七种
    用合取式表示为：
    （色泽=*) ^ (根蒂=*) ^ (敲声=浊响)
    （色泽=*) ^ (根蒂=蜷缩) ^ (敲声=*)
    （色泽=*) ^ (根蒂=蜷缩) ^ (敲声=浊响)
    （色泽=青绿) ^ (根蒂=*) ^ (敲声=*)
    （色泽=青绿) ^ (根蒂=*) ^ (敲声=浊响)
    （色泽=青绿) ^ (根蒂=蜷缩) ^ (敲声=*)
    （色泽=青绿) ^ (根蒂=蜷缩) ^ (敲声=浊响)

1.2 与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力。若使用最多包含k个合取式的析合范式来表达表1.1的西瓜分类问题的假设空间，试估算有多少种可能的假设。

  • 不考虑冗余
    表1.1共3个特征，假设空间中有3∗4∗4+1=49种假设。k的最大值是49，每次从中选出k个来组成析合式，即 Σ \Sigma Σ C 49 k C_{49}^{k} C49k​ k最大为49，根据二项式定理得249种假设
  • 考虑冗余
    //todo

1.3 若数据包含噪声，则假设空间中可能不存在与所有训练样本都一致的假设。在此情形下，试设计一种归纳偏好用于假设选择。

  • 去掉噪声数据
  • 将噪声值变为特征值最多的值

1.4 试证明"没有免费的午餐"

西瓜书P8说到，一个学习算法 ξ a \xi_a ξa​若在某些问题上比算法 ξ b \xi_b ξb​好，则必然另存在一些问题算法 ξ b \xi_b ξb​比算法 ξ a \xi_a ξa​要好，这个结论对任何算法都成立。

以下公式含义：算法 ξ a \xi_a ξa​学得的假设在训练集外的所有样本上的误差的期望
E o t e ( ξ a ∣ X , f ) E_{ote}\left (\xi_a|X,f\right) Eote​(ξa​∣X,f) = ∑ h \sum_h ∑h​ ∑ x ∈ χ − X \sum_{x\in \chi-X} ∑x∈χ−X​ P P P( x x x) I I ( II( II( h h h( x x x) ≠ \neq ̸​= f ( x ) ) f(x)) f(x)) P P

最低0.47元/天 解锁文章
Tzero__
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《机器学习》（周志华）第一章课后习题参考答案
dicker'log
07-28 4万+
《机器学习》（周志华）第一章课后习题参考答案 《机器学习》（周志华）第一章课后习题参考答案 1.1 求版本空间 1.2 求假设空间大小 1.1 求版本空间 题目：表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间。 P5：与训练集一致的“假设集合”我们称之为版本空间。本题即在假设空间中搜索包含正例且不包含反例的所有假设。（详细说明见后思考） 首先，用一个六位二进...
第一章习题
weixin_43889476的博客
07-05 1259
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
机器学习——课后习题解答
大墅哥哥的博客
06-08 1万+
文章目录 第一章绪论 1. 表1.1中若只包含编号为1和4的两个样例，是给出相应的版本空间。 2. 与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力，例如 3. 若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设。在此情形下，试设计一种归纳偏好用于假设选择。 4. 本章在1.4节在论述“没有免费的午餐”定理时，默认使用了“分类错误率”作为性能度量来对分类器进行评估。若换用其他性能度量\ellℓ,则式(1.1)将改为下式，试证明NLF仍然成立。 5. 试述机
机器学习 周志华 第一章课后习题
qq_44948213的博客
09-09 1454
机器学习 周志华 第一章课后习题
机器学习-习题1.3
max_Linyh的博客
03-03 1606
题目：若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设，在此情形下，试设计一种归纳偏好用于假设选择。概念：噪音数据是指数据中存在错误或异常的数据，即无用数据        归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”解答：由于数据包含噪声，在多种假设中应该更偏向于不包含噪声数据的假设，或偏向更一般而非更特殊的假设      ...
周志华版机器学习第一章习题答案
weixin_43518584的博客
04-16 1835
原文参考链接：https://blog.csdn.net/icefire_tyh/article/details/52065224 习题 1.1 数据集有3个属性，每个属性3种取值（其中一种属性为‘*’），由于本题只有编号1和4，所以默认含有关键字“青绿”、“蜷缩”、“浊响”的为好瓜，含有 “乌黑”、 “稍蜷”、 “沉闷”的为坏瓜，本题可以分为三种情况: 一、有一个元素确定的情况 青绿+ * + ...
《机器学习-周志华》学习笔记
10-17
为了训练一个真正有效、优化的模型，需要学习一下机器学习的理论知识。周志华的教材非常经典，但概念较多，特别是前两章，在学习中作了笔记，现分享出来，希望能有帮助。
周志华《机器学习》习题及笔记.zip
04-16
机器学习算法构建一个基于样本数据的数学模型，称为“训练数据”，以便在没有明确编程来执行任务的情况下进行预测或决策。[1][2]机器学习算法用于各种应用，例如电子邮件过滤和计算机视觉，在这些应用中，开发用于...
Datawhale打卡周志华机器学习第四章
09-21
Datawhale打卡周志华机器学习第四章
周志华《机器学习》学习笔记（大全）
03-06
本文为周志华《机器学习》的学习笔记，记录了本人在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容，向前辈们和知识致敬！
西瓜书（周志华）：什么是版本空间以及如何求取版本空间
热门推荐
花花的博客
03-06 2万+
下面是自己结合百度的资料来理解的一些比较通俗的说法： 假设空间：属性所有可能取值组成的可能的样本 版本空间：与已知数据集一致的所有假设的子集集合。 （绿色加号代表正类样本，红色小圈代表负类样本） GB 是最大泛化正假设边界(maximally General positive hypothesis Boundary),； SB 是最大精确正假设边界(maximally Speci
机器学习（周志华）第一章课后答案
不服输的苏大叔的博客
09-17 3185
写在前面： 这学期开始学习机器学习，后面给出的问题的解答或是想法仅供参考，甚至还有错误的地方，届时希望大能们能够加以斧正，解答我的疑惑。 1.1首先课本给出的样例的版本空间是错的，害我一脸懵逼（再版的已经更正了）。正确应为： 若只包含样例1和4，则“色泽”“根蒂”“敲声”分别都有2中取值，所以假设空间规模大小为3*3*3+1=28种。 版本空间为：A(2,2)-1 = 7 ...
《机器学习》周志华课后习题答案——第一章（1-3题完结）
weixin_45626630的博客
11-09 8252
《机器学习》周志华课后习题答案——第一章 文章目录《机器学习》周志华课后习题答案——第一章一、表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间二、与使用单个合取式来进行假设表示对比……（题目看图） 一、表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间 对于这个题，网上流传的答案版本空间大概有7种甚至9种，依愚愚解，我认为只有4种。因为最终是要得出“某个”西瓜是“好瓜”的结论，故只有四种。 二、与使用单个合取式来进行假设表示对比……（题目看图） （部分引用自https:/
机器学习(周志华) 第一章习题1.1假设空间计算问题
画地为牢的博客
06-09 2081
原题目： 1.1 表1.1中若只包含编号为1，4的两个样例，试给出相应的版本空间。 答案：数据集有3个属性，每个属性2种取值，一共 3∗3∗3+1=28种假设 解释原因举例： 好瓜(色泽=?)^ (根蒂 =?) ^(敲声 =?) ,假设每个属性有三个值，比如色泽（青绿、乌黑、浅白），那么有四种可能（青绿、乌黑、浅白+任何色泽都不影响）,则一共有444+1=65中可能性,即假设空间。+1是指根本不存在好瓜的概念。 其实就是概率的交集计算理念，每个属性的2种取值，还有一种就是任何色泽都不影响，所以变成了333+
机器学习（周志华）课后习题
paintShadow的博客
10-21 7751
机器学习记录
《机器学习》-周志华 第一章 绪论 习题1.2
anqijiayou的博客
03-17 1755
《机器学习》（周志华） 第一章 绪论   的课后习题1.2本文的目的主要是将自己对此题的解题思路分享一下，若有误，望指出，谢谢。先上题目：1.2  与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力。例如                                好瓜<—>（（色泽=*）^（根蒂=蜷缩）^（敲声=*））               ...
使用YOLO5进行模型训练机器学习【教程篇】
最新发布
donnycode编程栈
07-09 998
其中 class_id 是类别的索引，x_center 和 y_center 是对象中心点的相对坐标（归一化到 [0, 1]），width 和 height 是对象的相对宽高（归一化到 [0, 1]）。标签文件：每个图像文件需要一个对应的标签文件，格式为 .txt，存放在 datasets/train/labels 文件夹中。在开始训练前，运行一下项目中的train.py，项目会训练demo样例，如果没有报错证明功能正常可以进行自己的模型训练，有报错请根据提示检查。
《机器学习》 周志华学习笔记第十四章 概率图模型（课后习题）python实现
05-17
很高兴为您解答这个问题！本次我们将学习如何用 Python 实现《机器学习》周志华教授第十四章中的概率图模型习题。在这里，我们将使用 Python 的 pgmpy 库来构建和分析概率图模型。 首先，我们需要安装 pgmpy。可以使用 pip 安装： ```python pip install pgmpy ``` 安装完成后，我们就可以开始实现习题了。 #### 习题 14.1 考虑一个三元组 $(X, Y, Z)$，其中 $X$ 是二元随机变量，$Y, Z$ 是一元随机变量，试构造一个无向图结构，使其成为正态分布的一个合法图模型。 我们可以使用 pgmpy 来创建这个无向图模型。代码如下： ```python from pgmpy.models import MarkovModel # 创建一个空的无向图模型 model = MarkovModel() # 添加变量节点 model.add_nodes_from(['X', 'Y', 'Z']) # 添加边 model.add_edges_from([('X', 'Y'), ('X', 'Z')]) # 将模型转换成正态分布模型 from pgmpy.factors.continuous import ContinuousFactor from pgmpy.inference import Inference # 定义正态分布的 mean 和 covariance mean = [0, 0, 0] covariance = [[1, 0, 0], [0, 1, 0], [0, 0, 1]] # 创建正态分布因子 factor = ContinuousFactor(['X', 'Y', 'Z'], mean, covariance) # 将因子添加到模型中 model.add_factors(factor) # 执行因子分解 inference = Inference(model) factors = inference.factors() ``` 在上面的代码中，我们首先创建了一个空的无向图模型，然后添加了三个变量节点 $X, Y, Z$ 和两条边 $(X, Y), (X, Z)$。接着，我们使用 `pgmpy.factors.continuous.ContinuousFactor` 来定义正态分布的 mean 和 covariance，并将其添加到模型中。最后，我们使用 `pgmpy.inference.Inference` 来执行因子分解，得到了模型中的所有因子。 #### 习题 14.2 考虑一个四元组 $(X_1, X_2, X_3, X_4)$，它们之间的关系如下图所示。试构造这个有向图结构的贝叶斯网模型。 ![image.png](attachment:image.png) 我们可以使用 pgmpy 来创建这个有向图模型。代码如下： ```python from pgmpy.models import BayesianModel # 创建一个空的有向图模型 model = BayesianModel() # 添加变量节点 model.add_nodes_from(['X1', 'X2', 'X3', 'X4']) # 添加边 model.add_edges_from([('X2', 'X1'), ('X3', 'X1'), ('X3', 'X2'), ('X4', 'X2')]) # 打印模型结构 print(model.edges()) ``` 在上面的代码中，我们首先创建了一个空的有向图模型，然后添加了四个变量节点 $X_1, X_2, X_3, X_4$ 和四条边 $(X_2, X_1), (X_3, X_1), (X_3, X_2), (X_4, X_2)$。最后，我们打印出了模型的边结构。 #### 习题 14.3 考虑一个五元组 $(X_1, X_2, X_3, X_4, X_5)$，它们之间的关系如下图所示。试构造这个有向图结构的贝叶斯网模型。 ![image-2.png](attachment:image-2.png) 我们可以使用 pgmpy 来创建这个有向图模型。代码如下： ```python from pgmpy.models import BayesianModel # 创建一个空的有向图模型 model = BayesianModel() # 添加变量节点 model.add_nodes_from(['X1', 'X2', 'X3', 'X4', 'X5']) # 添加边 model.add_edges_from([('X2', 'X1'), ('X3', 'X1'), ('X4', 'X2'), ('X5', 'X2'), ('X5', 'X3')]) # 打印模型结构 print(model.edges()) ``` 在上面的代码中，我们首先创建了一个空的有向图模型，然后添加了五个变量节点 $X_1, X_2, X_3, X_4, X_5$ 和五条边 $(X_2, X_1), (X_3, X_1), (X_4, X_2), (X_5, X_2), (X_5, X_3)$。最后，我们打印出了模型的边结构。 #### 习题 14.4 考虑一个六元组 $(X_1, X_2, X_3, X_4, X_5, X_6)$，它们之间的关系如下图所示。试构造这个有向图结构的贝叶斯网模型。 ![image-3.png](attachment:image-3.png) 我们可以使用 pgmpy 来创建这个有向图模型。代码如下： ```python from pgmpy.models import BayesianModel # 创建一个空的有向图模型 model = BayesianModel() # 添加变量节点 model.add_nodes_from(['X1', 'X2', 'X3', 'X4', 'X5', 'X6']) # 添加边 model.add_edges_from([('X2', 'X1'), ('X3', 'X1'), ('X4', 'X2'), ('X5', 'X3'), ('X6', 'X4'), ('X6', 'X5')]) # 打印模型结构 print(model.edges()) ``` 在上面的代码中，我们首先创建了一个空的有向图模型，然后添加了六个变量节点 $X_1, X_2, X_3, X_4, X_5, X_6$ 和六条边 $(X_2, X_1), (X_3, X_1), (X_4, X_2), (X_5, X_3), (X_6, X_4), (X_6, X_5)$。最后，我们打印出了模型的边结构。 #### 习题 14.5 考虑一个二元组 $(X, Y)$，其中 $X$ 是一元随机变量，$Y$ 是二元随机变量，试构造一个有向图结构，使其成为正态分布的一个合法图模型。 我们可以使用 pgmpy 来创建这个有向图模型。代码如下： ```python from pgmpy.models import BayesianModel # 创建一个空的有向图模型 model = BayesianModel() # 添加变量节点 model.add_nodes_from(['X', 'Y1', 'Y2']) # 添加边 model.add_edges_from([('X', 'Y1'), ('X', 'Y2')]) # 将模型转换成正态分布模型 from pgmpy.factors.continuous import ContinuousFactor from pgmpy.inference import Inference # 定义正态分布的 mean 和 covariance mean = [0, 0, 0] covariance = [[1, 0, 0], [0, 1, 0], [0, 0, 1]] # 创建正态分布因子 factor = ContinuousFactor(['X', 'Y1', 'Y2'], mean, covariance) # 将因子添加到模型中 model.add_factors(factor) # 执行因子分解 inference = Inference(model) factors = inference.factors() ``` 在上面的代码中，我们首先创建了一个空的有向图模型，然后添加了三个变量节点 $X, Y_1, Y_2$ 和两条边 $(X, Y_1), (X, Y_2)$。接着，我们使用 `pgmpy.factors.continuous.ContinuousFactor` 来定义正态分布的 mean 和 covariance，并将其添加到模型中。最后，我们使用 `pgmpy.inference.Inference` 来执行因子分解，得到了模型中的所有因子。 以上就是本次的答案，希望对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值