<机器学习>(周志华)读书笔记 -- 第二章 模型评估与选择

最新推荐文章于 2024-07-27 23:44:59 发布
最新推荐文章于 2024-07-27 23:44:59 发布
阅读量3k 收藏 5
点赞数 4
分类专栏： 机器学习 读书 文章标签： 读书笔记 机器学习 周志华 性能评估
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/geng333abc/article/details/55049739
版权

随手记下所学知识，很多图表来自原书，仅供学习使用！

2.1  经验误差与过拟合

通常,我们使用"错误率"来表示分类中错误的样本占总样本的比例.如果m个样本中有a个错误样本则错误率E=a/m

,对应的,1-a/m称为精度,即"精度"=1-"错误率".更一般的情况来说,我们把机器学习的预测输出和样本真实输出之间的差异称为"训练误差"或者"经验误差".

一般来说,如果在训练集中的表现精度高,而在测试集中表现的精度小,一般是过拟合.相反,如果是精度都不高一般是欠拟合.我们本来的目的是把训练集这一类的特征学出来,也就是要找训练集和测试集的共同特征,但是,虽然类有共性,但是每个个体之间是有差异的,如果是把训练集自身的特征当成了这一类的特征,就是过拟合,如果,没有学到什么,训练集(有可能训练集也不低)测试集精度低,一般就是过拟合.比如说,训练的时候是用的哈士奇,但是测试的时候是金毛,如果因为金毛耳朵,颜色和哈士奇不一样而不认为金毛是狗,就是过拟合,但是如果是因为看到体型差不多,就认为是狗,就是欠拟合.(金毛和哈士奇图片来自网络,侵权就删...)


更加恰当的例子应该还是来自与原书.


2.2  评估方法

在测试过程中,我们一般会找一个测试集,测试集数据不在训练中出现.至于为怎么,很容易理解,就像学生考试一样,用平时的训练题作为考试题,这样就不能考出来举一反三的能力,可以看为是机械记忆.机器学习,本来就是要做一个能够举一反三的模型,要是考记忆能力,还不如直接弄个记事本,然后Ctrl+F直接查找文件中的关键字.

那么还有一个问题,数据集就有一个,既要测试,又要训练应该如何做呢?很简单,分一为二.直接把一个数据集分成两个,一个作为数据集,一个作为训练集.

2.2.1留出法

"留出法"是将数据集分成两个相斥的集合.但是要保证是均匀的划分,简单的说是把数据集打乱以后在里面抽取多少是个有效的办法.例如,对于判断是否是树叶这个数据中,把是的一类和不是的分开.那么这个划分基本上就是没有意义的.

2.2.2 交叉验证法

其实上面的划分方法有个问题,就是貌似没有充分利用每个数据来训练模型.对于这个问题,人们又想到了一个方法,就是把数据混合均匀以后,分成没有交集的k份,每一次把其中的一份作为测试,其他作为训练,然后对k个结果求平均.这个方法成为"K折交叉验证",一般人们把k取值为10.如果有m的数据而k=m,那么这个情况就比较特殊了,就被成为了"留一法".留一法能够保证让每次的训练集和原来的数据集尽可能的接近,从而保证了准确性.但是,想想就知道,恐怕要训练测试m次了,而m很大的时候,几乎不可能实现(当然,有恒心有毅力者大有人在).
简单的图片来说明就是:

2.2.3 自助法

自助法,就是一个高中概率常见的模型,有放回的摸小球的问题.就是把数据集混合均匀以后,开始有放回的抽取m次,作为训练集,然后把数据集和训练集的差集作为测试集.
在概率中解释这个情况就是,
                     
也就是有0.368的数据在测试集.好熟悉的公式,考研数学没白看...

2.2.4 调参数与最终模型

有人说，机器学习尤其是神经网络，就是调参。这个我也不知道是不是对的，但是调参是很重要的，据说厉害的人知道每一个参数与结果的关系，不断调整然后结果自然就好了，而盲目调参，就是碰运气咯。这个肯定是根据后面的章节的知识进行操作的。

2.3 性能度量

性能度量，顾名思义就是考察对比不同算法的好坏的，衡量模型泛化能力的评价标准，就是性能度量。
懒得写了，贴点原书的“均方误差”。
但是还有的性能度量：

2.3.1 错误率与精度

错误率与精度的公式为：
在这里，我感觉就是宏观来看，数据集的平均错误率和准确率，就是拿一个数据出来错误的概率和正确的概率。
而当加入了一个概率密度，就成了概率的概率了.

2.3.2 查准率、查全率和F1

首先看看二分问题的结果混肴矩阵来看查准率和查全率：
查准率P简单的说就是所有正例中正确的概率，而查全率R就是判断为正例中有多少是对了的。既然有了查准率和查全率两个参数，似乎就能够搞点事情了。
下图就是一个2D的表格，有了两个值P和R了嘛。
这样，就有了P-R图，对图中于 A，B，C三个模型哪个更好呢？评价又是一个问题。但是我们发现，PR双高的，就是一个凸的曲线，这样比较面积就OK了。但是又面临的一个问题是面积不好弄啊，既要测出来模型的曲线还要积分面积。那么有没有更好的办法呢？答案是肯定的，就是图中的平衡点，就是P=R的时候的取值。
但是，大家又嫌弃平衡点（BEP）简单粗暴，于是搞了个F1度量：
然后这个公式有个特点是P、R权重是一样的，然后加权重以后就是：
如果说为啥R上面没加什么东西，那么实际上这个β已经相当于加了，效果一样。因为从根本上讲削弱一个就是加强另一个，多一个参数不如少一个参数啊！
再将这一套扩展到多个二分类混肴矩阵，看他们的宏观情况，这个公司就进行了拓展：
请不要忘了，从根本上看，其实还是那一套。。。

2.3.3 ROC与AUC

ROC全称是“受试者工作特征”。其实就是上面的p-r图的坐标换了换。

这个判断标准和P-R图一样，看面积。当看到b图的时候，是不是想起了积分了呢？
这里注意的是那个数学符号。。。指示符号，条件成立为 1  否则为 0，这里也要好好想想。

2.3.4 代价敏感错误率与代价曲线

嗯，生活中，有大错误也有小错误。大错误一旦犯了，就麻烦了，小错误可能天天犯都没事啊。所以，这里引入了代价问题，看看错误是致命错误还是小毛病。
在这里  cost01和cost10 可以不一样，这样，犯了不同错误会受到不同惩罚。
嗯，还是对基本公式的一个改造。

2.4 比较检验

2.4.1 假设检验

看到这一节开始，我感觉我学的是假计算机，感觉好像进入了数学系。。。
貌似本小结开始前，应该先想想那个排列组合，比如说，有m个小球，不放回的抽取e个小球标记为错误，其他的标记为正确，那么有几种可能？这样想一下，原书中的公式似乎就熟悉多了呢。
这样实际上就是一个二项分布（二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立，与其它各次试验结果无关，事件发生与否的概率在每一次独立试验中都保持不变，则这一系列试验总称为n重伯努利实验，当试验次数为1时，二项分布服从0-1分布。）。
发现还得看看概率论与数理统计才是比较靠谱的。

ANONYMOUSLYCN
关注
专栏目录
周志华《Machine Learning》学习笔记（17）--强化学习
VAY-长跑
07-20 2万+
上篇主要介绍了概率图模型，首先引出概率图模型的基本概念；接着分别介绍了隐马尔可夫模型、马尔可夫随机场、条件随机场、精确推断方法以及LDA模型：HMM围绕着评估/解码/学习三个问题展开论述；MRF基于团和势函数来定义联合概率分布；CRF引入两种特征函数对状态序列进行打分；变量消去与信念传播在给定联合分布后计算边际分布；LDA话题模型则试图去推断给定文档所蕴含的话题分布。本篇将介绍最后一种学习算法--强化学习。
周志华《Machine Learning》 学习笔记系列（1）
热门推荐
VAY-长跑
11-19 1万+
机器学习是目前信息技术中最激动人心的方向之一，其应用已经深入到生活的各个层面且与普通人的日常生活密切相关。本文为清华大学最新出版的《机器学习》教材的Learning Notes，书作者是南京大学周志华教授，多个大陆首位彰显其学术奢华。本篇主要介绍了该教材前两个章节的知识点以及自己一点浅陋的理解。
周志华 机器学习 读书笔记
weixin_39915444的博客
09-03 594
分类(classification): 预测的是离散值, 比如“好瓜” “坏瓜”。 回归(regression): 预测的是连续值, 例如西瓜成熟度“0.79", "0.95"。 泛化(generalization): 学得模型适用于新样本的能力，称为"泛化" (generalization)能力. 数据挖掘(data mining): 从海量数据中发掘知识. ，数据库领域的研究为数据挖掘提...
【机器学习】周志华《机器学习》西瓜书勘误：按章节排序整理（截至2024年1月第45次印刷）
最新发布
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
07-27 769
本文整理了机器学习领域经典之作：南京大学周志华教授的《机器学习》（西瓜书）勘误。包含博主按章节排序整理（截至2024年1月第45次印刷）及原印刷排序两部分。
机器学习（周志华）学习笔记（一）
coral_55u的博客
03-19 1513
学习教材： 机器学习（周志华） 学习内容： 一、绪论 1.1 基本术语 数据集： 示例：关于一个事件或对象的描述。（Xi） 特征向量： 样本的维数：用于描述一个样本的属性个数。 标记：关于示例结果的信息。（Yi） 样例：标记信息的示例。 聚类：将训练集分成若干组。 泛化能力：学得模型适用于新样本得能力。 分类任务与回归任务的区别：分类任务用于预测离散值，回归任务用于预测连续值。 监督学习和无监督学习的区别：训练数据是否拥有标记信息。其中分类和回归是监督学习的代表，聚类是无监督学
《机器学习》周志华 学习笔记
zs_dolphin的专栏
03-28 682
疏通经络”：不同内容的联系，不同的描述方式，出现位置蕴涵的意义，个别字句的启发可能自行摸索数年不易得。随着该领域的发展，目前主要研究智能数据分析的理论和方法，并已成为智能数据分析技术的源泉之一。了解机器学习的疆域和基本思想，理解基本概念。适用于全局的是模型，局部的是模式。“提纲挈领”：理解技术细节后的本质，生化认识。2.阅读关于机器学习具体的分支读物（三个月、半年）机器学习更多的是搞清楚是什么为什么怎么做。1.初学机器学习的第一本书（初读一个月）6.科学、技术、工程、应用的区别。26.支持向量机基本型。
《机器学习》周志华(西瓜书)学习笔记 第二章 模型评估与选择
sdm12345的博客
05-11 1824
第二章 模型评估与选择
《机器学习by周志华》学习笔记-模型评估与选择-02模型性能度量
vanilla698的博客
02-29 427
本章主要对模型的性能指标错误率、精度（正确率）、查准率（准确率）、查全率（召回率）、F1指标、平衡点、ROC、AUC、代价敏感错误率、代价曲线、期望总体代价等做了详细的描述。
周志华《机器学习》第二章 模型评估与选择 笔记及习题解答
qq_32735511的博客
04-20 3234
第二章 模型评估与选择 笔记笔记经验误差与泛化误差过拟合评估法留出法交叉验证法留一法自助法性能度量 笔记 经验误差与泛化误差   学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差” 过拟合   学习器把训练样本自身特点当做所有潜在样本都会具有一样的性质，导致泛化能力下降，这种现象叫做过拟合 评估法 留出法   用“分层抽样法”将数据集D划分为两个集合：训练集SS...
小吴的《机器学习 周志华》学习笔记 第二章 模型评估与选择
zdhbdz的博客
03-30 537
小吴的《机器学习 周志华》学习笔记 第二章 模型评估与选择 上一周我们介绍了第一章的基础概念，这一次将带来第二章的前三节。后面的2.4 比较检验与2.5 偏差与方差，涉及概率论与数理统计概念较多，公式没有全部推完，等我推完、弄明白后下周再发
机器学习（周志华）--西瓜书简要笔记（2）
qq_39132170的博客
08-12 488
第二章 模型评估与选择 一、经验误差与过拟合 1.错误率--分类错误的样本数占样本总数的比例。 精度--精度=1-错误率 误差--学习器的实际预测输出与样本的真实输出之间的差异 训练误差--学习器在训练集上的误差，也称为“经验误差” 泛化误差--在新样本上的误差 2.过拟合--当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化能力下降。这种现象在机器学习中称为“过拟合”。最常见的导致过拟合产生的原因是由于学习能力过.
周志华《机器学习》学习笔记（大全）
03-06
本文为周志华《机器学习》的学习笔记，记录了本人在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容，向前辈们和知识致敬！
周志华《机器学习》个人笔记
Toby的博客
02-02 6369
这本书比较像导论性质，整体给你介绍下机器学习领域有哪些研究分支，以及这些研究分支中成熟的经典算法。 这本书虽然也有算法描述，但这些算法都是实现底层机器学习算法的，如果没有编程基础或者现在主流的分布式编程的思想，想要直接自己动手据此写代码还是比较困难的。如果你想找的是直接上手coding的实践应用类的书籍，这本书可以放一放，等你先上手了再来。不是这本书难，其实它讲的东西都很简单，只是纯粹的它不是实践类的书籍。 它能给你打下的是不错的概念基础。让你整体认识下机器学习的门道。让你跟专业的人对话的时候，on t
周志华机器学习（西瓜书）学习笔记（持续更新）
yhdsss875的博客
11-04 1万+
《周志华机器学习》笔记第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状第2章 模型评估与选择 第1章 绪论 1.1 引言 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。 本书中，“模型”泛指从数据中学得的结果，有的文献中用“模型”指全局性结果，二用“模式”指局部性结果。 1.2 基本术语 要进行机器
《机器学习》（周志华） 读书笔记（一）
weixin_36413027的博客
07-12 200
一. 基本术语 数据集： 需要进行数学分析的数据集合 示例/样本： 数据集中，每条记录都是关于一个事件or一个对象的描述，这每条记录都被称为“示例or样本” 属性： 反应事件or对象在某方面的属性or性质的事项，就是属性。 属性值： 属性上的取值，即为“属性值”。 属性空间/样本空间/输入空间： 属性张成的空间。一个属性，就是一根坐标轴，就是一个维度。 特征向量： 由于空间中的每个点，对应一个坐标...
01《机器学习·周志华》读书笔记
董绘峰的博客
11-10 1484
目录第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状1.7 阅读材料第2章 模型评估与选择2.1 经验误差与过拟合2.2 评估方法2.3 性能度量2.4 比较检验2.5 偏差与方差2.6 阅读材料第3章 线性模型3.1 基本形式3.2 线性回归3.3 对数几率回归3.4 线性判别分析3.5 多分类学习3.6 类别不平衡问题3.7 阅读材料第4...
周志华机器学习读书笔记第二章（一）
u013261340的博客
10-08 734
模型评估与选择 （1）错误率+精度=1，错误率是指分类错误的样本数占样本总数的比例。 （2）误差：学习器的实际预测输出与样本的真实输出之间的差异。 训练误差：学习器在训练集上的误差。 泛化误差：在新样本上的误差。 （3）过拟合和欠拟合：学习器把训练样本学的太好了，导致泛化性能下降；欠拟合，指对训练样本的一般性质尚未学好。 过拟合是机器学习面临的关键障碍，各类算法都必然有一些针对过拟合的
周志华机器学习笔记
weixin_68531302的博客
07-17 950
------------------------------------------以上内容更新于 2023 .7.17----------------------------------------------机器学习主要是研究如何使计算机从给定的数据中学习规律，即从观测数据(样本) 中寻找规律，并利用学习到的规律(模型) 对未知或无法观测的数据进行预测，其中数据表示规律。需要注意的是:训练/测试集的划分要尽可能保持数据分布的一致性，以避免由于分布的差异引入额外的偏差，常见的做法是采取分层抽样。
《机器学习》 周志华学习笔记第十四章 概率图模型 python实现
05-17
本章主要介绍了概率图模型的基本概念和常见类型，以及如何利用Python实现这些模型。下面是一些笔记和代码示例。 ## 概率图模型的基本概念 概率图模型是一种用于表示和处理不确定性的图形化模型，它能够将一个复杂的联合概率分布表示为多个简单的条件概率分布的乘积形式，从而简化概率推理和模型学习的过程。概率图模型主要包括两种类型：有向图模型和无向图模型。 有向图模型（Directed Acyclic Graph, DAG）又称为贝叶斯网络（Bayesian Network, BN），它用有向边表示变量之间的因果关系，每个节点表示一个随机变量，给定父节点的条件下，每个节点的取值都可以用一个条件概率分布来描述。有向图模型可以用贝叶斯公式进行概率推理和参数学习。 无向图模型（Undirected Graphical Model, UGM）又称为马尔可夫随机场（Markov Random Field, MRF），它用无向边表示变量之间的相互作用关系，每个节点表示一个随机变量，给定邻居节点的取值，每个节点的取值都可以用一个势函数（Potential Function）来描述。无向图模型可以用和有向图模型类似的方法进行概率推理和参数学习。 ## 概率图模型的Python实现 在Python中，我们可以使用`pgmpy`库来实现概率图模型。该库提供了一个简单而强大的接口来定义和操作概率图模型，支持有向图模型和无向图模型的构建、概率推理、参数学习等功能。 ### 有向图模型 以下是一个简单的有向图模型的示例： ```python from pgmpy.models import BayesianModel model = BayesianModel([('A', 'B'), ('C', 'B'), ('B', 'D')]) ``` 其中，`BayesianModel`是有向图模型的类，`('A', 'B')`表示A节点指向B节点，即B节点是A节点的子节点，依此类推。我们可以使用以下代码查看模型的结构： ```python print(model.edges()) # 输出：[('A', 'B'), ('B', 'D'), ('C', 'B')] ``` 接下来，我们可以为每个节点定义条件概率分布。以下是一个简单的例子： ```python from pgmpy.factors.discrete import TabularCPD cpd_a = TabularCPD(variable='A', variable_card=2, values=[[0.2, 0.8]]) cpd_c = TabularCPD(variable='C', variable_card=2, values=[[0.4, 0.6]]) cpd_b = TabularCPD(variable='B', variable_card=2, values=[[0.1, 0.9, 0.3, 0.7], [0.9, 0.1, 0.7, 0.3]], evidence=['A', 'C'], evidence_card=[2, 2]) cpd_d = TabularCPD(variable='D', variable_card=2, values=[[0.9, 0.1], [0.1, 0.9]], evidence=['B'], evidence_card=[2]) model.add_cpds(cpd_a, cpd_c, cpd_b, cpd_d) ``` 其中，`TabularCPD`是条件概率分布的类，`variable`表示当前节点的变量名，`variable_card`表示当前节点的取值个数，`values`表示条件概率分布的值。对于有父节点的节点，需要指定`evidence`和`evidence_card`参数，表示当前节点的父节点和父节点的取值个数。 接下来，我们可以使用以下代码进行概率推理： ```python from pgmpy.inference import VariableElimination infer = VariableElimination(model) print(infer.query(['D'], evidence={'A': 1})) # 输出：+-----+----------+ # | D | phi(D) | # +=====+==========+ # | D_0 | 0.6000 | # +-----+----------+ # | D_1 | 0.4000 | # +-----+----------+ ``` 其中，`VariableElimination`是概率推理的类，`query`方法用于查询给定变量的概率分布，`evidence`参数用于指定给定变量的取值。 ### 无向图模型 以下是一个简单的无向图模型的示例： ```python from pgmpy.models import MarkovModel model = MarkovModel([('A', 'B'), ('C', 'B'), ('B', 'D')]) ``` 其中，`MarkovModel`是无向图模型的类，与有向图模型类似，`('A', 'B')`表示A节点和B节点之间有相互作用关系。 接下来，我们可以为每个节点定义势函数。以下是一个简单的例子： ```python from pgmpy.factors.discrete import DiscreteFactor phi_a = DiscreteFactor(['A'], [2], [0.2, 0.8]) phi_c = DiscreteFactor(['C'], [2], [0.4, 0.6]) phi_b = DiscreteFactor(['A', 'C', 'B'], [2, 2, 2], [0.1, 0.9, 0.3, 0.7, 0.9, 0.1, 0.7, 0.3]) phi_d = DiscreteFactor(['B', 'D'], [2, 2], [0.9, 0.1, 0.1, 0.9]) model.add_factors(phi_a, phi_c, phi_b, phi_d) ``` 其中，`DiscreteFactor`是势函数的类，与条件概率分布类似，需要指定变量名、变量取值个数和势函数的值。 接下来，我们可以使用以下代码进行概率推理： ```python from pgmpy.inference import BeliefPropagation infer = BeliefPropagation(model) print(infer.query(['D'], evidence={'A': 1})) # 输出：+-----+----------+ # | D | phi(D) | # +=====+==========+ # | D_0 | 0.6000 | # +-----+----------+ # | D_1 | 0.4000 | # +-----+----------+ ``` 其中，`BeliefPropagation`是概率推理的类，与有向图模型类似，`query`方法用于查询给定变量的概率分布，`evidence`参数用于指定给定变量的取值。 ## 总结 本章介绍了概率图模型的基本概念和Python实现，包括有向图模型和无向图模型的构建、条件概率分布和势函数的定义、概率推理等。使用`pgmpy`库可以方便地实现概率图模型，对于概率模型的学习和应用都有很大的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值