机器学习需要多少训练数据？

最新推荐文章于 2024-07-22 13:03:21 发布
最新推荐文章于 2024-07-22 13:03:21 发布
阅读量2.6k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_22510827/article/details/110792726
版权
机器学习的训练数据量取决于问题复杂度、模型参数和预期性能。常见方法包括参照领域论文、经验法则（如回归分析的10倍规则）、学习曲线分析、样本容量估计、VC维理论以及深度学习对数据规模的需求。不同的方法适用于不同场景，如计算机视觉可能需要至少1000幅图像/分类，而深度学习模型通常对数据量有更高的需求。
摘要由CSDN通过智能技术生成

机器学习需要多少训练数据？

 

取决于：

  • 所需解决问题的难易程度
  • 所采用的模型的复杂程度（模型参数数量）
  • 想要达到什么样的性能

① 最快的方法

查找相关领域的论文资料，别人一般用多少的数据量

② 经验范围

回归分析：要训练出一个性能良好的模型，所需训练样本数量应是模型参数数量的10倍。

缺点：

最低0.47元/天 解锁文章
处女座程序员的朋友
关注
机器学习实战——疫情数据分析与预测
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
07-27 5万+
机器学习如何做到疫情可视化——疫情数据分析与预测实战 本文将带领大家爬取11个国家以及中国31个省（自治区、直辖市）在2022.0101-2022.06.19的新冠疫情数据。并且采用机器学习模型对2022.6.20-2022.6.30每一天的全国确诊人数、死亡人数、治愈人数进行预测，**做出疫情可视化图形并且求出最终的相关系数R2！...
在机器学习中，你需要多少训练数据？
MindFlow——Training Data as a Service
01-04 1973
你为什么会问这个问题？ 首先我们要搞清楚你为什么会问需要多大的训练数据集。 可能你现在有以下情况: 你有太多的数据。可以考虑通过构建学习曲线（learning curves）来预估样本数据集（representative sample）的大小或者使用大数据的框架把所有的可得数据都用上。 你有太少的数据。首先确定你的数据量确实比较少。那么可以考虑尝试收集更多的数据或者用数据增强的方法（data a...
机器学习中的数据及其处理
天边一坨浮云
11-28 2789
目录 数据及其处理 文本数据 词干提取（stemming）和词形还原（lemmatization） N-gram模型 音频数据 确定数据集规模 数据及其处理 样本：sample，或输入，input 预测：prediction，或输出，output 目标：target，真实值 类别：class 标签：label 真值：ground-truth，或标注，annotation 训练集：training set 测试集：test set 数据蒸馏：data distillation
训练数据 (Training Data)
最新发布
大连赵哥的博客
07-22 481
训练数据 (Training Data)
机器学习——数据处理
北边一颗小星星
04-12 1856
从中自动分析获得模型，并利用对未知数据进行预测。的格式：比如上图中房子的各种属性是特征值，然后房屋价格是目标值。注：对于每一行数据我们可以称之为样本有些数据集可以没有目标值——聚类与的关系：深度学习是使用深度神经网络的机器学习。——机器学习里面有种结构叫神经网络，神经网络多层的就叫深度学习，深度就是多层次的意思。
机器学习需要多少数据
weixin_37801695的博客
12-11 2670
从数据搜集到机器学习的各个阶段，我们都面临着一个问题，就是到底需要多少数据来完成我们的分析任务。 数据搜集阶段 由于数据的搜集是高投入的，所以在开始数据搜集之前，业务负责人会向数据分析师抛出一些问题，例如“你需要什么样的数据？”，“你需要多少数据？” 数据分析阶段 在数据分析阶段，数据分析师会拿到一批数据，这时面临的问题是，哪些数据是和分析目标相关的？数据量是否够用？如果数据量够用，用多少数据进行...
机器学习的数据处理
y727392439的博客
09-30 497
1、机器学习模型需要先选定算法模型，设计好算法模型后，需要输入数据，而数据是从实际的问题抽象而来； 2、实际问题提取的特征值构成数据，而特征值的个数，我们通常称之为维度，维度的个数决定了系统的复杂性； 3、特征工程（特征提取）就是指从实际问题中提取出数据相关的属性； 4、
机器学习之数据处理过程小知识+参考网址集合
qq_43149373的博客
04-24 237
机器学习过程知识集锦 fig,ax = plt.subplots()的理解 这个fig,ax = plt.subplots()的意思是，建立一个fig对象，建立一个axis对象。不然要用更复杂的方式来建如下： fig=plt.figure() ax=fig.add_subplot(111) pandas.DataFrame()中的iloc和loc用法 iloc，即index locate 用...
python训练模型需要多少数据_机器学习要求多大的数据量？我做的东西到底是不是机器学习？...
weixin_39604045的博客
11-28 1537
重点回答头一个问题，因为这也是很多机器学习研究者普遍存在的问题：“我的项目需要多少训练数据？”高性能模型与低性能模型之间区别的一个重要原因就是训练数据的质量。因此，为了确保你的 AI 应用能够具有最大性能，必须弄明白你需要多少训练数据。然而，这个问题经常让不少开发者非常苦恼。实际上，这个问题回答起来比看上去要复杂的多，因为其中要涉及到很多因素，比如你使用的模型类型，模型在实际业务中的用途等等。下面...
机器学习-鸢尾花数据集下载
11-04
机器学习的经典案例就是鸢尾花进行分类，本资源包括了鸢尾花的四种数据和四类数据下所对应的鸢尾种类，数据分成训练学习模型所需要的数据和对训练模型评估所需要的数据，为方便对数据进行导入，表头也已经填好，导入...
过拟合
gs344937933的专栏
07-25 486
什么是过拟合： 对训练数据表现的很好，但对其他数据拟合的很差。 发生过拟合的主要原因： （1）模型有大量参数、表现力强。 （2）训练数据少。 解决过拟合的方法： 1、权值衰减 通过在学习的过程中对大的权重进行惩罚。 2、Dropout方法 ...
大话机器学习之数据预处理与数据筛选
lyx的专栏
06-14 5430
数据挖掘和机器学习这事，其实大部分时间不是在做算法，而是在弄数据，毕竟算法往往是现成的，改变的余地很小。       数据预处理的目的就是把数据组织成一个标准的形式。 1.归一化       归一化通常采用两种方法。       a.最简单的归一化，最大最小值映射法       P_New=(P-MI)/（MA-MI）       P是原始数据，MI是这一属性中的最小值，MA是这一
训练一个模型需要多少训练数据----值得深思的话题
chen645096127的博客
08-13 1775
原文链接：http://www.jianshu.com/p/97c9be7270f0 经常被问一个问题，训练一个模型需要多少数据？这个问题不能一概而论， 取决于问题的复杂度 取决于算法的复杂度 一个简单的解决方法是可以看看类似问题别人用了多少数据。但是如果问题比较特殊，可以做一个scalability的测试，看模型在不同大小数据集上的表现，根据这个测试，可以大致确定一个合理的数据需求。（不过...
python训练模型需要多少数据_从零开始用Python搭建超级简单的点击率预估模型
weixin_39979080的博客
11-28 273
点击率预估模型0.前言本篇是一个基础机器学习入门篇文章，帮助我们熟悉机器学习中的神经网络结构与使用。日常中习惯于使用Python各种成熟的机器学习工具包，例如sklearn、TensorFlow等等，来快速搭建各种各样的机器学习模型来解决各种业务问题。本文将从零开始，仅仅利用基础的numpy库，使用Python实现一个最简单的神经网络(或者说是简易的LR，因为LR就是一个单层的神经网络)，解决一个...
你究竟需要多少训练数据？
AI公园
03-11 1120
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：DanMalowany编译：ronghuaiyang导读对标注数据的收益递减效应进行量化的预测。深度学习模型对训练数据的需...
我的机器学习项目需要多少训练数据？
TEDDY的博客
04-13 2662
作者：景略集智 链接：https://www.zhihu.com/question/63304628/answer/538598523 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 高性能模型与低性能模型之间区别的一个重要原因就是训练数据的质量。因此，为了确保你的 AI 应用能够具有最大性能，必须弄明白你需要多少训练数据。 然而，这个问题经常让...
训练10B的模型需要多大的数据？详解大模型中的Scaling Law
Paper weekly
12-12 3355
©作者 |nghuyong单位 |腾讯在大模型的研发中，通常会有下面一些需求：计划训练一个 10B 的模型，想知道至少需要多大的数据？收集到了 1T 的数据，想知道能训练一个多大的模型？老板准备 1 个月后开发布会，给的资源是 100 张 A100，应该用多少数据训多大的模型效果最好？老板对现在 10B 的模型不满意，想知道扩大到 100B 模型的效果能提升到多少？以上这些问题都可以基于 Sc...
机器学习中样本的样本量的估计
热门推荐
UESTC_C2_403的博客
06-04 1万+
在机器学习中，如果样本量不足，我们利用模型学习到的结果就有可能是错误的，因为样本不足的情况下，规则会有很多。也就是我们如果用f表示真是的规则，用g表示利用模型学习到的规则。那么我们希望g和f越接近越好，可是我们并不知道f到底是什么？如果样本不足，机器是没法学习的。 例如： 给你123，输出为246。有人会说那就是对应元素乘以2，这是一种规则。还有别的规则，第一个数字是原来数的第二位，后面两位分
半监督机器学习：新框架提升训练数据质量
LearningFrameworkForGeneratingHighQualityTrainingData”是一篇研究论文，探讨了如何利用一种名为对比协同学习（Contrast Co-learning, CCL）的框架来生成高质量的训练数据，尤其针对半监督机器学习场景。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值