机器学习西瓜书笔记

原创 已于 2024-03-07 12:50:50 修改 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #笔记 #人工智能

于 2024-03-04 14:45:57 首次发布

机器学习‘西瓜书’-周志华

第二章 模型评估与选择

1.精度=1-错误率
2.训练集上的误差为‘训练误差’或‘经验误差’，新样本上的误差为‘泛化误差’
3.过拟合是机器学习面临的关键障碍，欠拟合可通过决策树学习中拓展分支，在神经网络学习中增加训练轮数
4.过拟合无法彻底避免

2.2评估方法

2.2.1留出法

单次留出法不够稳定可靠，一般要采用若干次随机划分、重复进行试验评估取平均值作为留出法的评估结果，常见做法是将大约2/3～4/5的样本用作训练

2.2.2交叉验证法

下面是K折交叉验证的基本步骤：
将数据集分成K个大小相似的子集，通常称为折（fold）。
选择一个折作为测试集，其余K-1个折作为训练集。
使用训练集训练模型，并在测试集上进行评估。
记录评估指标（如准确率、精确率、召回率等）。
重复步骤2至步骤4，直到每个折都被用作了一次测试集。
对所有的评估指标进行平均，得到最终的评估结果。

留一法是其最简单的形式之一。在留一法中，将数据集分成大小相等的两部分，一部分作为训练集，另一部分作为测试集。具体步骤如下：
将数据集中的样本按顺序编号，编号从1到N。
对于每一个编号i，将第i个样本作为测试集，剩余的样本作为训练集。
使用训练集训练模型，并在测试集上进行评估，记录评估指标（如准确率、精确率、召回率等）。
重复步骤2和步骤3，直到每个样本都被用作了一次测试集。
对所有的评估指标进行平均，得到最终的评估结果。
留一法的优点是评估结果准确，因为每个样本都会被用作测试集。然而，留一法的缺点是计算成本较高，特别是对于大型数据集，因为需要训练N个模型，其中N是样本的数量。

总的来说，留一法在数据量较小的情况下是一个可行的评估方法，但在大型数据集上可能会变得不切实际。

2.2.3自助法

对集成学习有很大好处，但会引入估计偏差。

2.3性能度量

2.3.2 查准率、查全率

查准率和查全率是一对矛盾的度量，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。通常只有在一些简单任务中，才可能使查全率和查准率都很高。![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/506aaa7fbc1549ddbbf53f4ac6723a60.png#pic_center在这里插入图片描述
在这里插入图片描述
查准率P为真正例在真正例和假正例（判断为真，但实际为假）的总和的比例
查全率R为真正例在真正例和假反例（判断为假，但实际为真）的总和的比例在这里插入图片描述
若一个学习器的P-R曲线被另一个学习器的曲线完全‘包住’，则可断言后者的性能优于前者，如2.3图，A性能高于C，但是A、B两者无法比较
平衡点（Breaking-Even Point，简称BEP），是查全率和查准率相同的取值，即为途中y=x的曲线，基于BEP，可认为学习器A优于B

F1和Fᵦ

在这里插入图片描述
在这里插入图片描述

n个二分类混淆矩阵

西瓜书P32页

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

2014-01-07 2014-01-09 2014-01-11 2014-01-13 2014-01-15 2014-01-17 2014-01-19 2014-01-21 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

Wastrel one
关注
【西瓜书】part1：机器学习基础知识
weixin_46404552的博客
03-02 1460
part1机器学习基础知识
【好书推荐--周志华老师《机器学习》西瓜书学习笔记】【转载】
j8267643的博客
02-09 691
周志华《机器学习》又称西瓜书是一本较为全面的书籍，书中详细介绍了机器学习领域不同类型的算法(例如：监督学习、无监督学习、半监督学习、强化学习、集成降维、特征选择等)。本项目为周志华《机器学习》的学习笔记，记录了本人在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容，向前辈们和知识致敬！希望对新人阅读西瓜书有所帮助！
机器学习（西瓜书）第八章 集成学习
最新发布
在猴站学算法
09-11 766
集成学习：通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。
机器学习西瓜书&南瓜书——决策树模型
m0_73556978的博客
09-30 1612
决策树模型是机器学习领域最常见的模型之一，甚至有人说决策树模型上机器学习领域的水平上升了一个台阶。决策树的基本思想是根据样本的一些特征来构造一个树，树的每个分支节点都是一个分支属性，每个分支节点都会针对当前节点的属性把样本一分为二，有这个属性或者说在这个属性上表现为yes的数据被分为一个集合，没有这个属性或者在这个属性上表现为no的数据呗分为一个集合。一个完整的决策过程包含若干个子决策，最终得到判定结果。以“找出好瓜”这个任务为例，假设西瓜有“色泽“，”根蒂“，”敲击声“这三个属性，假设先判定“色泽”这个属
机器学习（西瓜书）
Ziy的博客
03-02 4456
这个机器不逃学！ --需要不断学习不断学习不断学习~却怎么都学不会的机器学习
机器学习——《西瓜书》
weixin_44837762的博客
06-14 3277
*我i什么看到微湿路面、感到春风、看到晚霞，就认为明天是好天呢？这是因为在我们的生活经验中已经遇见过很多类似的情况，这是我们基于经验做出的判断。“机器学习”-----正是一门这样的学科，它研究如何通过计算的手段，利用“经验”（计算机中通常以“数据”的形式存在）改善自身的性能。下面将介绍一些基本的概念：基本术语 数据集（data set）：D={x1,x2,…,xm} 表示包含m个示例的数据集。 记录：数据集中关于一个事件或对象的描述，也称“示例”（instance）或“样本”（sample）。 属性（att
西瓜书机器学习的学习笔记（十分详细）
06-10
学习了机器学习的基础以及相关理论，颇有收获，并做了相关笔记，对于机器学习有了更为深入的理解，为以后的学习以及研究打下基础。 主要内容包含以下相关主题： - 模型的评估与选择 - 神经网络 - 支持向量机 - ...
机器学习西瓜书笔记第五章神经网络及代码.rar
08-17
本章主要是关于神经网络算法的详细介绍，包括以下几个核心内容： 1. 神经网络基础 - 定义：神经网络是由具有适应性的...- ART网络：基于竞争型学习的无监督学习策略。 6. 深度学习 - 概念：使用多层隐层的神经网络
机器学习西瓜书笔记——线性回归
m0_73556978的博客
09-19 1285
二元线性回归在直角坐标系中拟合出一条直线，多元线性回归在解空间内拟合出一个超平面。线性回归解释了自变量（特征）与因变量之间的关系，可以根据自变量得到因变量的值。**线性回归可以理解为单层神经网络**，当线性模型有两个输入时，他就是一个感知机。
人工智能 机器学习 （西瓜书）笔记
05-15
资料是我发表文章的pdf版，需要人工智能 机器学习 （西瓜书）笔记的小伙伴们可以自取。 后面我会陆续更新相关章节的笔记 pdf.
机器学习西瓜书笔记——机器学习基本术语，模型性能指标【一】
m0_73556978的博客
09-18 816
西瓜书第一章第二章，机器学习概述，基础术语，性能指标
机器学习入门-西瓜书总结笔记
weixin_45867990的博客
03-23 5644
西瓜书第一章-绪论First step引言+基本术语假设空间归纳偏好发展历程与应用现状 First step 对于西瓜书内容做总结笔记，以下都是个人总结，如果有错误欢迎指证。 引言+基本术语 “模型” （model） 从数据中产生 “学习算法”（learning alogrithm） 从数据中产生模型的算法 ”数据集“（data set) 示例（instance）或样例（sample） 的集合 “属性”（atrribute） 或 "特征”（feature） 反映事件或对象在某方面的表现或性质的事项 “属
【一起啃西瓜书】机器学习-期末复习（不挂科）
热门推荐
风口IT猪的成长录
12-11 3万+
【机器学习-期末复习爆肝2w字笔记整理分享】 《机器学习》致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据（经验）中产生“模型”，用于对新的情况给出判断（利用此模型预测未来的一种方法）。 分为三类：监督学习、元监督学习、强化学习。
《机器学习》--西瓜书版
javanaxx的博客
10-16 1626
我们希望得到表现很好的学习器（模型），所以我们希望从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”，这样才能在新的样本出现时做出正确的判别。泛化：由于机器学习的目标是根据已知来对未知做出尽可能准确的判断，因此对未知事物判断的准确与否才是衡量一个模型好坏的关键，我们称此为“泛化”能力。：机器学习的本质就是在学习样本在某个方面的表现是否存在潜在的规律，我们称该方面的信息为“标记”。不同的机器学习的算法会得到不同的模型，这就是“归纳偏好”。：学习器的实际预测输出与样本的真实输出之间的差异。
机器学习—西瓜书（一）
weixin_45397053的博客
10-13 826
Task01 第一章、第二章 本次学习基于周志华老师《机器学习》，以思维导图形式记录，不含公式推导。公式推导推荐南瓜书：https://github.com/datawhalechina/pumpkin-book 个人小结：一、第一章主要介绍了机器学习的基础概念、基本术语和发展历程，本书中的机器学习大多是归纳学习的思想。二、第二章主要介绍了如何评估、选择模型。评估方法有留出法、交叉验证法、自助法等；性能度量对于回归有均方误差等，对于分类有查准率、查全率、F1、ROC、AUC、代价敏感等。三、通过测试错误率来
西瓜书-机器学习概念
追忆那迟到的许多年灬
08-03 270
极大似然估计+EM算法： https://zhuanlan.zhihu.com/p/
西瓜书《机器学习》全网最详细解读 第一章：绪论
sherlockMa的博客
04-12 2042
《机器学习》，又称西瓜书，是南京大学教授周志华教授编著的一本机器学习领域的经典教材。在接下来的日子里，我将每周精心打磨一章内容，全方位、多角度地为大家剖析书中精髓。
《西瓜书》-1.机器学习概述
ruoqi23的博客
07-30 1108
1.机器学习概述 1.1.人工智能与机器学习 人工智能（Artificial Intelligence，Al）是一种以智能人类思维的类似方式使计算机，计算机控制的机器人或软件智能地思考的方法。 人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 人工智能是基于计算机科学，生物学，心理学，语言学，数学和工程学等学科的科学和技术。人工智能的主要推动力是开发与人类智能相关的计算机功能。 机器学习主要是研究如何使计算机从给定的数据中学习规律，.
西瓜书#机器学习学习笔记(小白都能看懂的机器学习教程）（格式调整中）
m0_67466450的博客
06-20 1191
第一章 绪论 什么是机器学习？ 机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时（例如看到一个没剖开的西瓜），模型会给我们提供相应的判断（例如好瓜）。 基本术语：（不懂得可以上原书翻或者复制一
深入浅出西瓜书：机器学习学习笔记详细解析
资源摘要信息:"西瓜书机器学习的学习笔记（十分详细）" 1. 模型的评估与选择 在机器学习中，模型的评估与选择是至关重要的环节，它直接关系到模型在实际应用中的表现。评估一个模型的好坏，通常会使用交叉验证的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值