【机器学习基础】CH2 - 监督学习(?)交叉验证

最新推荐文章于 2024-11-18 19:25:57 发布
最新推荐文章于 2024-11-18 19:25:57 发布
阅读量1k 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43831311/article/details/121342671
版权
Cross validation

很全面的资料：https://mp.weixin.qq.com/s/B2mOhJodeW_0Mpq94e0EXg

  • 测试数据 是对我们模型性能的最终测试。

  • 我们是否总是依赖 测试数据 进行模型评价和选择?

    1. 它并不总是可用的

    2. 没有平均误差估计：取决于怎么分的组

    3. 我们可能会对测试数据进行“过度拟合”：

reindexx
关注
专栏目录
MartinGsus99#HexoBlog#机器学习-CH2-模型评估与选择1
07-25
一、经验误差与过拟合 二、评估方法 三、性能度量 四、比较检验（见《概率论》） 五、偏差与方差
伪标签：教你玩转无标签数据的半监督学习方法
lizz2276的博客
06-19 5357
对于每个机器学习项目而言，数据是基础，是不可或缺的一部分。在本文中，作者将会展示一个名为伪标签的简单的半监督学习方法，它可以通过使用无标签数据来提高机器学习模型的性能。 伪标签 为了训练机器学习模型，在监督学习中，数据必须是有标签的。那这是否意味着无标签的数据对于诸如分类和回归之类的监督任务就无用了呢？当然不是! 除了使用额外数据进行数据分析，还可以将无标签数据和标签数据结合起来，一同训练半监督学习模型。 该方法的主旨思想其实很简单。首先，在标签数据上训练模型，然后使用经过训练的模型来预测无.
[半监督学习] Semi-supervised Learning for Regression with Co-training by Committee
不定期更新 Web 开发及机器学习相关博客
02-16 1553
提出了一个半监督回归框架 CoBCReg, 其既不需要冗余独立视图, 也不需要不同的基础学习算法. 现实数据并不总是能被划分为两个冗余的视图, 因此, 与传统的 Co-Training 相比, CoBCReg 基于单视图.
监督学习的交叉验证：改进模型
AI天才研究院
01-07 875
1.背景介绍 监督学习是机器学习中最基本的学习方法之一，它需要预先标记的数据集来训练模型。在监督学习中，我们通过学习已经标记的数据集来构建模型，以便在未知数据上进行预测。然而，在实际应用中，我们经常面临着过拟合的问题，这会导致模型在训练数据上表现出色，但在新的测试数据上表现较差。为了解决这个问题，我们需要一种方法来评估模型在未知数据上的性能，并进行相应的调整。这就是交叉验证的概念所解决的问题。 ...
监督学习之七——交叉分解（Cross decomposition）
李豪的博客
09-07 766
交叉分解
使用交叉监督进行半监督语义分割（CVPR2021语义分割）
CV计算机视觉
07-06 4251
今天和大家分享CVPR2021中语义分割领域的一篇文章，面向半监督语义分割领域。 论文下载链接：https://arxiv.org/abs/2106.01226 代码下载链接：https://github.com/charlesCXK/TorchSemiSeg 0.动机 训练语义分割任务的卷积神经网络通常需要像素级别（pixel-level）的人工标注，相比于其他视觉任务，这种标注信息较为昂贵。因此，使用半监督方法，利用带标注信息的数据和无标注信息的数据一起训练语义分割网络是很有意义的。 作者提出了cro
机器学习算法基础-覃秉丰 课件+ 代码
07-23
【机器学习算法基础】课程由覃秉丰教授主讲，主要涵盖了机器学习的基本概念、原理以及常见算法的应用。课程旨在帮助初学者理解机器学习的核心思想，并通过实际代码实现加深对算法的理解。 一、机器学习概览 机器...
机器学习大作业-预测天气.zip
01-05
在这个“机器学习大作业-预测天气.zip”压缩包中，我们可以推测这是一项关于利用机器学习技术预测天气的项目。这个项目可能包含了一系列的文件，如数据集、代码、报告等，用于展示如何运用机器学习算法对天气进行...
机器学习期末复习-分题型-pdf
06-08
定位于有一定机器学习基础的学生或研究人员，尤其适合即将参加期末考试的本科生和研究生，也适用于希望通过系统复习巩固机器学习知识的AI领域从业者。 使用场景及目标： - 场景：期末复习、专业考试准备、技能考核、...
【Scikit-Learn 中文文档】交叉验证 - 模型选择和评估 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-27 1121
学习一个预测函数的参数，并在相同数据集上进行测试是一种错误的做法: 一个仅给出测试用例标签的模型将会获得极高的分数，但对于尚未出现过的数据 它则无法预测出任何有用的信息。 这种情况称为“过拟合”（overfitting）. 为了避免这种情况，在进行（监督）机器学习实验时，通常取出部分可利用数据作为实验测试集（test set）： X_test, y_test。 需要强调的是这里说的“实验（experiment）”并不仅限于学术（academic），因为即使是在商业场景下机器学习也往往是从实验开始的。 利用s
深度盘点：8000字详细介绍 Python 中的 7 种交叉验证方法
Python学习与数据挖掘
11-21 7332
在任何有监督机器学习项目的模型构建阶段，我们训练模型的目的是从标记的示例中学习所有权重和偏差的最佳值。 如果我们使用相同的标记示例来测试我们的模型，那么这将是一个方法论错误，因为一个只会重复刚刚看到的样本标签的模型将获得完美的分数，但无法预测任何有用的东西 - 未来的数据，这种情况称为过拟合。 为了克服过度拟合的问题，我们使用交叉验证。 所以你必须知道什么是交叉验证？ 以及如何解决过拟合的问题？ 什么是交叉验证？ 交叉验证是一种用于估计机器学习模型性能的统计方法，它是一种评估统计分析结果如何推广到独立数据
有监督、无监督、泛化能力、过拟合欠拟合、交叉验证
qiuye1117的博客
03-29 3012
　　1.机器学习的一些概念： 　　 a.有监督学习：训练数据既有特征（feature）又有标签（lable），通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。 　　 b.无监督学习：训练样本的标记信息未知，，目标是通过对无标记训练样本的学习来揭示数据的内在性质，及规律，为进一步的数据分析提供基础，此类学习任务中研究最多，应用最广的是聚类...
【人工智能】生成对抗网络（GAN）原理与Python实现：从零构建图像生成模型
一个被知识诅咒的人
11-18 772
生成对抗网络（GAN）是深度学习中用于生成数据的前沿技术，通过两个神经网络的对抗训练实现逼真图像的生成。本文深入介绍GAN的基本原理，并使用Python从头构建一个简单的GAN模型。文章将涵盖GAN的数学理论、网络结构、训练步骤、及如何使用GAN生成图像数据。通过详细的代码示例和中文注释，本文帮助读者深入理解GAN的实现过程，探索如何通过GAN在图像生成应用中创造出逼真效果。本文适合希望了解并动手实践GAN原理和实现的读者。
机器学习（西瓜书)-BP神经网络实现
qq_27047075的博客
11-18 94
2、用感知机实现线性可分的与，或，非问题，然后用多层感知机实现线性不可分割的异或问题。所有的参数还有变量依托于周志华的机器学习（西瓜书）p97-p104。3、之后搭建了一个三层神经网络，任务是判断一个数字是否>0.5。1、首先定义两个激活函数，越阶函数和sigmoid函数。
【机器学习】数学知识：欧式距离（Euclidean Distance）和曼哈顿距离（Manhattan Distance）
IT古董
11-15 935
欧式距离和曼哈顿距离是两种常用的距离度量方法，用于衡量两点之间的相似性或差异性。它们在几何分析、数据挖掘、机器学习等领域有广泛应用。欧式距离（Euclidean Distance）是最常见的直线距离度量方法，源于欧几里得几何学。它表示两点之间的直线距离，类似于二维或三维空间中两点间的最短路径。曼哈顿距离（Manhattan Distance）也称为“城市街区距离”或“L1 距离”，表示两点之间的路径长度，假设只能沿水平和垂直方向移动，类似于网格状街道上的步行距离。
【python】机器学习调参与自动化：使用Hyperopt优化你的模型
萧鼎的博客
11-14 1222
Hyperopt 是一个 Python 库，用于优化和自动化机器学习模型的超参数调节。它支持多种优化算法，最常用的是贝叶斯优化（Bayesian Optimization）、随机搜索（Random Search）以及遗传算法（Genetic Algorithm）。Hyperopt 不仅适用于机器学习任务，也可以广泛应用于其他需要优化的场景。空间（Space）：定义超参数搜索空间。通常情况下，我们通过指定每个超参数的取值范围来定义一个空间。目标函数（Objective Function）
机器学习系列----关联分析
最新发布
DK22151的博客
11-18 381
关联分析主要用于挖掘数据集中的频繁项集（Frequent Itemsets）和关联规则（Association Rules）。关联规则通常采用“如果-那么”的形式，即：如果条件 A 成立，则条件 B 成立。最常见的应用场景是市场篮子分析，在这个场景中，A 和 B 代表顾客购买的商品。关联规则通常包含三个重要的度量：支持度（Support）：规则中项集的出现频率，表示在整个数据集中，A 和 B 同时出现的概率。
机器学习基础06_梯度下降
l15202833159的博客
11-18 1170
机器学习；梯度下降
最新Python机器学习库scikit-learn 0.24.2发布
5. 模型选择（model selection）：用于参数调优、交叉验证等。 6. 预处理（preprocessing）：对数据进行归一化、标准化、编码等预处理操作。 知识点四：官方资源安装方法解析 资源描述中提到了安装方法，链接指向了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值