机器学习算法对数据的要求以及使用的情况

最新推荐文章于 2024-06-25 18:00:13 发布
最新推荐文章于 2024-06-25 18:00:13 发布
阅读量6.9k 收藏 19
点赞数 4
分类专栏： 机器学习--ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/UESTC_C2_403/article/details/72848650
版权
本文探讨了不同数据量下机器学习算法的选择，包括数据量小于10万时采用随机梯度下降，小数据量的聚类算法如kmeans、meanshift，有标签数据的线性SVM、朴素贝叶斯，以及回归和预测问题中的各种方法。强调了数据量对算法效果的影响，指出样本数量至少需大于50。
摘要由CSDN通过智能技术生成
1.数据量大于10万采用随机梯度下降，效果不错，大大的节约时间成本
2.数据量小于1万的可以采用kmeans聚类算法，无效果采用特殊聚类或者GMM模型。大于1万的采用minibatch kmeans算法。使用kmeans聚类的前提是聚类类别数量知道。
3.聚类类别数量未知的情况下，数据量小于1万时，采用meanshift或者VBGMM模型，大于1万时，就咩有什么有效的算法
4.聚类算法是建立在没有标记样本的数据，属于无监督模型
最低0.47元/天 解锁文章
UESTC_C2_403
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达机器学习——算法对数据的要求
qq_44955314的博客
05-19 411
问：什么情况下，数据越多算法性能越好？ 答：A learning algorithm with many paramenters. many parameters/特征值有足够的信息量  ⟹  \implies⟹low bias a very large training set（more than parameters）  ⟹  \implies⟹low variance ∵\because∵ 训练集比参数多 ∴\therefore∴ 算法不会过拟合 ∴Jtrain(θ)≈Jtest(θ)\theref
在机器学习中，你需要多少训练数据？
MindFlow——Training Data as a Service
01-04 1916
你为什么会问这个问题？ 首先我们要搞清楚你为什么会问需要多大的训练数据集。 可能你现在有以下情况: 你有太多的数据。可以考虑通过构建学习曲线（learning curves）来预估样本数据集（representative sample）的大小或者使用大数据的框架把所有的可得数据都用上。 你有太少的数据。首先确定你的数据量确实比较少。那么可以考虑尝试收集更多的数据或者用数据增强的方法（data a...
机器学习需要多少数据
weixin_37801695的博客
12-11 2588
从数据搜集到机器学习的各个阶段，我们都面临着一个问题，就是到底需要多少数据来完成我们的分析任务。 数据搜集阶段 由于数据的搜集是高投入的，所以在开始数据搜集之前，业务负责人会向数据分析师抛出一些问题，例如“你需要什么样的数据？”，“你需要多少数据？” 数据分析阶段 在数据分析阶段，数据分析师会拿到一批数据，这时面临的问题是，哪些数据是和分析目标相关的？数据量是否够用？如果数据量够用，用多少数据进行...
机器学习常见的框架及其对应的模型文件格式
最新发布
qq_53445310的博客
06-25 329
机器学习常见的框架及其对应的模型文件格式
机器学习速成课程----数据准备
love code, love life.
06-29 745
目录 在7天内使用Python进行数据准备。 第1课：数据准备的重要性 第2课：通过插补填充缺失值 第3课：使用RFE选择特征 第4课：使用规范化缩放数据 第5课：使用热编码（One-Hot）转换类别 第6课：使用kBins将数字转换为类别 第7课：使用PCA进行降维在 在7天内使用Python进行数据准备。 数据准备涉及将原始数据转换为更适合建模的形式。 数据准备可能是预测建模项目中最重要的部分，也是最耗时的过程，尽管似乎讨论得最少。 相反，重点是机器学习...
机器学习中的数据及其处理
天边一坨浮云
11-28 2767
目录 数据及其处理 文本数据 词干提取（stemming）和词形还原（lemmatization） N-gram模型 音频数据 确定数据集规模 数据及其处理 样本：sample，或输入，input 预测：prediction，或输出，output 目标：target，真实值 类别：class 标签：label 真值：ground-truth，或标注，annotation 训练集：training set 测试集：test set 数据蒸馏：data distillation
【原创好文】当机器学习遇到数据量不够时，这几个Python技巧为你化解难题
weixin_43373042的博客
04-13 1839
有时候我们在进行模型的训练与优化的时候，是需要基于现有的数据集来操作的，要是数据量比较充足的情况下倒是还好说，但是要是遇到数据量不够的情况，该怎么办呢？今天小编就给大家来介绍几个方法来处理这种情况。Faker模块Python当中的Faker模块主要是用来生成伪数据，包括了城市、姓名等等，并且还支持中文，在开始使用该模块之前我们先用pip命令来下载安装完成pipinsta...
基于机器学习算法在数据分类中的应用研究
04-27
本文的研究工作不仅涵盖了理论分析，还涉及实际应用，对机器学习算法在数据分类问题上的应用进行了深入探索。通过对比和实验证明，粒子群算法优化的支持向量机和卷积神经网络是解决复杂分类问题的有效工具。这些研究...
手把手教你使用Python实现机器学习算法.pdf
06-16
本文“手把手教你使用Python实现机器学习算法”将引导初学者逐步掌握如何利用Python进行机器学习实践。 首先，我们关注的库是`scikit-learn`（简称sklearn），这是一个强大的机器学习库，提供了各种预处理、模型...
聚类机器学习算法使用数据集
03-22
聚类机器学习算法使用数据集
使用机器学习算法对信用卡客户UCI默认数据集进行分析和分类
02-06
本研究的目的是利用一些有监督的机器学习算法来识别决定信用卡违约可能性的关键驱动因素，强调所用方法背后的数学方面。当您严重拖欠信用卡付款时，就会发生信用卡违约。为了增加市场份额，台湾的发卡银行过度向不...
数据科学家最常用的十大机器学习算法
02-24
模型运行被许多因素左右，例如数据集的大小和结构因此，你应该根据你的问题尝试许多不同的算法，同时使用数据测试集来评估性能并选出最优项当然，你尝试的算法必须和你的问题相切合，其中的门道便是机器学习的主要...
过拟合
gs344937933的专栏
07-25 460
什么是过拟合： 对训练数据表现的很好，但对其他数据拟合的很差。 发生过拟合的主要原因： （1）模型有大量参数、表现力强。 （2）训练数据少。 解决过拟合的方法： 1、权值衰减 通过在学习的过程中对大的权重进行惩罚。 2、Dropout方法 ...
机器学习中样本的样本量的估计
热门推荐
UESTC_C2_403的博客
06-04 1万+
在机器学习中，如果样本量不足，我们利用模型学习到的结果就有可能是错误的，因为样本不足的情况下，规则会有很多。也就是我们如果用f表示真是的规则，用g表示利用模型学习到的规则。那么我们希望g和f越接近越好，可是我们并不知道f到底是什么？如果样本不足，机器是没法学习的。 例如： 给你123，输出为246。有人会说那就是对应元素乘以2，这是一种规则。还有别的规则，第一个数字是原来数的第二位，后面两位分
机器学习三要素之数据、模型、算法
wohu1104的专栏
03-22 3572
参考：https://gitbook.cn/gitchat/column/5ad70dea9a722231b25ddbf8/topic/5b1086eccad6fe44db4c1268 1. 机器学习与人脑映射关系 我们自己用来判断万事万物的“观点”、“看法”、“洞察”，实际上都是我们头脑中一个个“模型”对所闻所见（输入数据）进行“预测”的结果。这些模型自身的质量，直接导致了预测结果的合理性。...
初学大数据之如何选择机器学习算法
Magician的博客
04-15 1052
最近在国外网站看到一篇不错的文章，所以就翻译过来给大家分享一下。主要介绍初学者怎么选择机器学习算法,希望对各位初学者有帮助。 原文如下: 一个初学者面临各种机器学习算法的典型问题是“我应该使用哪种算法？”问题的答案取决于许多因素，包括： 数据的大小，质量和性质。 可用的计算时间。 任务的紧迫性。 你想对数据做什么 即使是经验丰富的数据科学家也不能在尝试不同的算法之前，判断哪种算法会最好。我们并不
机器学习,多少数据量是合适的?
shuijinghua的博客
09-03 6735
经验表明，训练数据中每个类别有5000个以上样本，其实也要相对于特征而言，来判断样本数目是不是足够，数据量是足够的，正负样本差一个数量级以内是可以接受的，不太需要考虑数据不平衡问题（完全是经验，没有理论依据，仅供参考）。 ...
机器学习需要的最小数据量是多少？
顺其自然~专栏
03-20 3213
比如在贝叶斯模型里面使用适当的先验分布，在数据少的时候能有效地提升模型效果，而在数据逐渐增大之后，不同先验的区别往往会逐渐趋近直至几乎没有区别，最后完全由数据来决定模型的推断。如果要对 GPT-2 进行微调（fine-tuning），需要在预训练数据集的基础上再增加少量的特定领域数据进行训练，通常需要至少数千条甚至更多的数据才能获得较好的效果。通常情况下，数据量越大，训练出的模型效果越好，因为大量的数据可以提供更多的信息和更全面的表示。但是，在某些情况下，即使只有很少的数据，也可以构建出有用的模型。
样本量很少如何获得最佳的效果？最新小样本学习工具包来啦！
张伟的专栏
03-25 1418
小样本学习方法可以在利用先验知识的前提下，仅由极少量受监督的样本，使模型通过极少步的更新快速提升泛化性能，以应用在新的相关任务上[1]。PaddleFSL提供了低层次的工具函数与接口，以供使用者设计新的小样本学习方法或构建新的小样本学习数据集，同时也提供了经典小样本学习方法的高层次实现，以及经典的小样本数据集。因此，我们引入了模型克隆（clone）的功能：与机器学习框架中张量的克隆相同，被克隆的新模型并不与原模型共享内存，从而实现独立的调整，但同时要和原模型共享计算图，从而实现梯度的关联与累积。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值