机器学习-周志华-笔记-第2章

最新推荐文章于 2025-02-24 18:14:51 发布
最新推荐文章于 2025-02-24 18:14:51 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 模型评估 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012938704/article/details/73927872
版权

经验误差、泛化误差、测试误差

经验误差，也叫训练误差，在训练集上的误差，与之对应的是泛化误差（generalization error，在新样本上的误差）。评估一个好的模型显然是泛化误差最小。但是实际上事先并不知道新样本是什么，所以实际能做的是最小化经验误差。


经验误差也不能完全决定模型的泛化误差，会存在过拟合现象。书中简单说明了过拟合现象是各种学习算法不可避免的问题，只有“减缓”。这里简单了解了NP-hard问题。

在评估过程中需要使用一个测试集，使用测试集上的测试误差作为泛化误差的近似。

所以需要将数据集D划分为训练集S和测试集T，有两种方法：留出法、交叉验证法、自助法（bootstrapping）。

留出法：尽可能保证S和T的数据分布一致，比如分类任务中，保证每类样本数目比例相似；多次划分，取平均；常见是2/3~4/5作为训练集，剩余作为测试集。

交叉验证：先将D划分为k个大小相似的互斥子集，同样每个子集数据分布一致，然后选其中的k-1个作为训练集，剩下1个作为测试集。k常用的取值为10，称为10折交叉验证（10-fold cross validation）;与留出法类似，可以多次划分，取平均。


留出法和交叉验证法 由于预留一部分样本作为测试，实际评估的模型使用的训练集比D小，必然会因为训练样本规模不同引入估计偏差。


自助法：适用与小数据集。设D中有m个样本，从中有放回的取m次，产生的数据集D'作为S。D'中会有部分重复样本，且D中一部分样本在D'中没出现。D'中没出现的样本作为测试集T。


自助法 产生的训练集改变了初始数据集的分布，也会引入估计偏差。


NP-hard问题

作者：王宇
链接：https://www.zhihu.com/question/27039635/answer/101730260
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

最简单的解释：

P：算起来很快的问题

NP：算起来不一定快，但对于任何答案我们都可以快速的验证这个答案对不对

NP-hard：比所有的NP问题都难的问题

NP-complete：满足两点：

1. 是NP hard的问题

2. 是NP问题

接下来是比较严谨的定义：
问题：对于一个包含由0和1组成的字符串集合S，以某个01字符串x作为输入，要求某个图灵机判断x在不在S里面。这里的图灵机可以先想象成平时我们用的计算机，S也可以被看成我们要解决的问题。注意我们的问题非常简单，就是要判断某个字符串x是否在某个集合S里面，下面是定义：

P：有一个图灵机在多项式时间内能够判断x是否在S里面

NP：有一个图灵机M，如果某个字符串x在S里面，那么存在一个验证字符串u（注意这个u是针对这个x的，而且长度必须是x长度的多项式|u|=|x|^c关系），M以x和u作为输入，能够验证x真的是在S里面。

NP-hard：如果某个问题S是NP-hard，那么对于任意一个NP问题，我们都可以把这个NP问题在多项式时间之内转化为S，并且原问题的答案和转化后S的答案是相同的。也就是说只要我们解决了S，那么就解决了所有的NP问题。

NP-complete：一个问题既是NP-hard，又在NP里面；也就是说

1. 解决了这个问题我们就解决了所有NP问题

2. 这个问题本身也是个NP问题


Machine Learning
AI天才研究院
10-04 1014
Machine Learning 1. 背景介绍 1.1 问题的由来 自从20世纪中叶人工智能领域兴起以来，机器学习（Machine Learning, ML）一直是该领域最核心的研究方向之一。机器学习的研究目标是通过算法和统计方法，让计算机系
周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)
最新发布
Sodas的博客
03-01 184
举个例子：假如集成学习器有9个个体，求的是集成学习错误率，即预测失败的概率。即在训练过程中每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接收带权样本的基学习算法，则可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。随机森林的训练效率常优于Bagging，因此在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对结点所有的属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。
周志华机器学习第二章读书笔记（二）
u013261340的博客
10-13 657
(1)ROC(Receiver Operating Characteristic)受试者工作特征 根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，得到ROC曲线。
机器学习介绍与数据集
2201_75768010的博客
02-24 2323
机器学习（Machine Learning）是让计算机从数据中自动学习规律，并依据这些规律对未来数据进行预测的技术。它涵盖聚类、分类、决策树、贝叶斯、神经网络、深度学习（Deep Learning）等多种算法 ，基本思路是模拟人类学习行为，通过经验归纳总结规律来预测未来。scikit - learn 是 Python 语言的机器学习工具，包含许多智能的机器学习算法实现，文档完善，上手容易，拥有丰富的 API 接口函数。
周志华《机器学习》笔记（二）——第2章 模型评估与选择
CSU干饭人的博客
07-15 247
第2章 模型选择与评估 1、如何理解模型评估和模型选择？2、用测试误差评估泛化误差（常用于定量评估）3、用偏差和方差评估泛化误差（常用于定性评估）4、模型选择5、从机器学习算法设计的角度理解 看西瓜书第2章的时候感觉有些不条理，遂按照自己的思路梳理了一遍。 1、如何理解模型评估和模型选择？ 模型评估：评估模型的泛化误差——用测试误差评估、用偏差与方差评估； 模型选择：本质上是算法调整，选用使模型的泛化误差更小的新算法 或 算法的超参数配置。 2、用测试误差评估泛化误差（常用于定量评估） （1）泛化误差 ≠
《机器学习》——第2章 模型评估与选择
fjyalzl的博客
09-12 1037
错误率：分类错误的样本数占样本总数的比例。即如果在m个样本中有a个样本分类错误，则错误率E= a/m；相应的，1 - a/m称为“精度”，即“精度= 1 - 错误率”。误差：学习器的实际预测输出与样本的真实输出之间的差异，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。我们希望学习器能在新样本上表现得很好，为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”，这样才能在遇到新样本时做出正确的判别。
机器学习(周志华)读书笔记+课后习题 第二章
mercibeau的博客
09-06 2082
                                   第二章 模型评估与选择 2.1经验误差与过拟合     错误率：分类错误的样本占样本总数的比例。  E = a／m     精度：1 - a／m     训练误差／经验误差：训练集上的误差     泛化误差：新样本上的误差。 2.2评估方法     区分数据集，把数据集分为两部分，一部分是训练集S另外一部分是测试集...
《机器学习(周志华)》学习笔记.pdf
05-12
138页的内容，完整记录了学周志华西瓜书《机器学习》16个篇章的学习和体会。
（读书笔记）周志华-机器学习-第二章 模型评估与选择
Aylson的博客
08-08 1310
1.错误率（分类错误的样本数占样本总数的比例），即如果在 m 个样本中有α个样本分类错误，则错误率E=α/m;2.精度（1-错误率）即1-a/m；3.误差（学习器的实际预测输出与样本的真实输出之间的差异）；训练误差/经验误差（学习器在训练集上的误差）；泛化误差（在新样本上的误差）；我们实际希望的，是在新样本上能表现得很好的学习器.为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"普遍规律"，这样才能在遇到新样本时做出正确的判别。基于这个会出现“过拟合”和“欠拟合”两种现象。
《机器学习》周志华西瓜书笔记
flashdesigner的博客
09-09 1778
导数（Derivative）是微积分中的一个核心概念，它描述了函数在某一点附近的变化率。具体来说，对于函数y=f(x)，在点x0处的导数定义为：这里，Δx是一个很小的增量，它表示x从x0​变化到x0​+Δx时，函数值f(x)的变化量与Δx之比的极限。如果这个极限存在，那么我们就说函数f(x)在点x0​处是可导的，并且称这个极限值为函数在点x0​处的导数，记作或，有时也简记为y′ 或 ​（当不特别指明x0​时）。导数的几何意义是函数图像在点x0。
周志华《机器学习》自学知识点笔记（第一、二章）
m0_74756644的博客
10-23 599
非形式化定义：将人的“经验”作为计算机的“数据”，让计算机来学习这些经验数据，从而得到一个算法模型，同时在面对新的情况时，计算机能够做出准确有效的判断。形式化定义：假设T为计算机程序希望实现的任务类，P为计算机程序在某任务类T上的性能，E为经验，即历史的数据集。若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。
机器学习
给你一拳
07-16 278
PS:最近在看台大李宏毅老师和吴恩达老师的机器学习课程，同时也看了点周志华老师的西瓜书以及动物书，也浏览了知乎上很多答案，由于看的内容不及几分，还有很多继续看完学完，只是算是基本有了些了解，明白了机器学习和数据挖掘，数据分析的区别，以及深度学习与机器学习的区别，机器学习中入门概念等。还是一边总结一边学习。事实上，做笔记还是电子更方便，也更容易补充，但是做计划我还喜欢写出来。——7.16 1.机器...
周志华机器学习西瓜书第二章学习笔记
01-24
### 关于周志华《机器学习》（西瓜书）第二章的学习笔记 #### 模型评估与选择概述 模型评估与选择是机器学习领域的重要组成部分，旨在通过合理的方法评价不同模型的表现并挑选最优者。这一过程不仅涉及如何衡量单个模型的好坏，还包括怎样对比多个候选方案以做出最佳决策。 #### 偏差、方差和噪声的概念解析 偏差度量了学习算法的期望预测与实际结果之间的差距，反映了算法自身的拟合精度；方差描述的是相同规模训练集变化引起的学习效果波动情况，体现了数据扰动带来的影响；而噪声则设定了给定任务下所有可能采用的学习方法能达到的最佳预期泛化误差界限，揭示了问题本身固有的复杂性和挑战性[^2]。 #### 性能度量指标——P-R图及其应用 为了更直观地展示各类分类器的工作特性，通常会绘制精确率-召回率(Precision-Recall, P-R)曲线来辅助分析。当面对多组实验结果时，可以通过观察这些图形相互间的位置关系来进行优劣评判：如果某条曲线始终位于另一条之上，则表明前者具有更好的整体表现；而对于那些存在交点的情况，则需进一步计算各自下方区域面积大小作为判断依据之一。此外，“平衡点”作为一种特殊的性能测度，在特定条件下也能提供有价值的参考信息[^3]。 #### 偏差-方差分解理论简介 该理论为理解学习算法的一般化能力提供了框架性的指导思路，通过对平均测试错误率实施拆分操作，可以深入剖析导致过拟合现象背后的原因所在，并据此探索改进措施的方向。具体而言，总误差由三部分构成——不可约减误差点（即噪声）、平方形式表达出来的偏差项以及线性累加而成的方差成分[^4]。 ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import precision_recall_curve, auc def evaluate_model_performance(model, X, y): """ 计算并返回PR曲线下面积(AUC)，用于量化模型的整体性能。 参数: model (object): 已经训练好的分类模型实例。 X (array-like of shape (n_samples, n_features)): 测试特征矩阵。 y (array-like of shape (n_samples,)): 对应的真实标签向量。 返回: float: PR AUC得分。 """ # 划分训练集/验证集 X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2) # 使用训练集拟合模型 model.fit(X_train, y_train) # 获取验证集中各观测对应的概率估计值 probas_pred = model.predict_proba(X_val)[:, 1] # 绘制PR曲线并求得AUC分数 precisions, recalls, _ = precision_recall_curve(y_val, probas_pred) pr_auc_score = auc(recalls, precisions) return pr_auc_score ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值