【斯坦福21秋季实用机器学习--1.2数据获取】

已于 2022-04-27 17:36:08 修改
阅读量1.3k 收藏
点赞数
分类专栏： 实用机器学习 文章标签： 机器学习 大数据
于 2022-04-27 17:13:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43879114/article/details/124401092
版权
本文介绍了机器学习中数据获取的方法，包括直接使用现成数据集、自行收集和数据增强。列举了多个常用数据集如MNIST、ImageNet等，并提到了数据来源如Kaggle、Google Dataset Search。还讨论了数据集的选择、收集及处理技巧，如学术数据集与竞赛数据集的优缺点，以及数据增强技术在图像和文本上的应用。
摘要由CSDN通过智能技术生成

文章目录

学习笔记：课程来自于 跟李沐学AI
链接如下：https://www.bilibili.com/video/BV1Lf4y1n7LN/?spm_id_from=pageDriver

一、数据的发现

  1. 有现成的数据集：直接拿来用。
  2. 没有现成的数据集：需要自己进行数据收集，无法收集的，可以进行数据增强等操作。

数据获取

二、一些常见的机器学习的数据集

1.机器学习数据集

维基百科中关于数据集的列表：https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research

MNIST：一个手写的数据集。http://yann.lecun.com/exdb/mnist/
ImageNet：从图片搜索引擎获取的图片数据集。https://www.image-net.org/
AudioSet：YouTube的声音切片的数据集。https://research.google.com/audioset/
Kinetics：YouTube的视频切片的数据集。https://deepmind.com/research/open-source/kinetics
KITTI：

最低0.47元/天 解锁文章
无敌小猛男
关注
专栏目录
【机器学习】采集数据、特征工程、建立模型、应用四个阶段的详解（图文解释 超详细）
showswoller的博客
12-15 4760
【机器学习】采集数据、特征工程、建立模型、应用四个阶段的详解（图文解释 超详细）
斯坦福2021秋季·实用机器学习【中文】【合集】+1.1课程介绍
qq_40785521的博客
04-08 1224
机器学习的流程： 1.把问题变成机器学习的问题。譬如我想让机器人帮我叠衣服，这就不是一个好的机器问题。但是我想让机器帮我把法语翻译成汉语，这就是一个简单的机器问题. 2.收集数据。没有数据怎么训练模型？有了数据之后就可以开始选择一些合适的模型进行训练，调参。 3.把模型部署到线上进行实践。然后会收集到新的数据，再到步骤二，形成循环。 1.有的问题是很难的，选择问题的标准不是机器学习问题的难易，而是说哪个问题可以利益最大化。 2.数据很多，但是缺少高质量的数据。这个过程需要大量...
机器学习_数据获取
一个努力生活的人的博客
11-16 1279
文章目录数据获取1.一些常见的机器学习现成数据集2.从哪获取数据集3.生成数据4.其他方法 数据获取 1.一些常见的机器学习现成数据集 MNIST：手写数据集 ImageNet：图片数据集，从图片搜索引擎上获得 AudioSet：音频数据集，youtube上的音频切片 Kinetics：人类行为数据集，youtube上的视频切片 KITTI：无人驾驶数据集，被相机记录到的一些交通场景 Amazon Review：评论数据集，亚马逊网站上的一些用户评论 SQuAD：问答数据集 LibriSpeech：有声读物
获取机器学习数据
weixin_30553837的博客
05-27 217
UCL机器学习知识库:包括近300个不同大小和类型的数据集,可用于分类、回归、聚类和推荐系统任务。数据集列表位于:http://archive.ics.uci.edu/ml/。 Amazon AWS公开数据集:包含的通常是大型数据集,可通过Amazon S3访问。这些数据集包括人类基因组项目、Common Crawl网页语料库、维...
机器学习-数据收集
weixin_30291791的博客
05-24 309
一开始我以为数据的收集必须要通过Python爬取数据然后保存到数据库中才可以，在通过查阅相关资料，我知道了只要能找到现成的已经处理好的数据是非常简单方便的，只要把这些数据保存在一个csv文件就行了，也就是直接复制粘贴到csv文件中。这个文件我们可以直接拿过来用，接着就可以进行后面的数据分析处理工作了。 转载于:https://www.cnblogs.com/sunhgh/p/6897715.htm...
实用机器学习-1.2数据获取
u013551615的博客
02-22 596
一、数据获取 数据获取是很困难的 1.1 数据发现（找数据） 寻找已有数据集 寻找公用数据集来检验我的想法 收集数据 常见数据集 ：MNIST/ImageNet/AudioSet/Kinetics 找数据集：Paperswithcodes Datasets/Kaggle Datasets/Google Dataset Search/Open Data on AWS 1.2 数据融合 产品数据通常存在多个表中，需要进行Join合并 关键问题：找到Join的key、处理重复列、空数据行、数值冲突 1.3
1.4 数据标注【斯坦福21秋季：实用机器学习中文版】.pdf
11-30
数据标注在机器学习中的重要性 在机器学习中，数据标注是非常重要的一步骤，它直接影响着机器学习模型的性能。然而，在实际应用中，我们常常面临着没有足够的标注数据的情况。这时，我们需要使用一些策略来解决这个...
Coursera-机器学习-斯坦福大学：机器学习-斯坦福大学
02-04
Coursera-机器学习-斯坦福大学：机器学习-斯坦福大学
斯坦福大学公开课-机器学习-个人笔记完整版v4.21
10-25
斯坦福大学公开课-机器学习-个人笔记完整版v4.21，翻译并整理了重点
机器学习中的数据集的收集方法
易之阴阳，量子纠缠，道之一体，缘起性空
05-08 831
在收集数据时，重要的是要确保数据的质量、合法性及隐私保护，遵循数据伦理原则，必要时还需进行去标识化处理以保护个人信息。同时，数据收集策略应当与项目目标紧密相连，确保收集到的数据对模型训练有价值。
机器学习项目完整流程
爱丹丹的博客
10-21 3852
机器学习项目的完整流程 1 模型抽象 对于实际生活中的复杂事物来说，如果要使用机器学习方法来解决，对实际问题进行建模，将其抽象为数学问题是首要的工作。下面举几个简单例子 预测本地明天的天气 首先你需要利用生活常识和收集资料得到的专业知识，知道可能会对天气有影响的因素；然后去收集数据，明确自己的目的。是想使用过去的天气情况来预测明天的气温范围呢，还是单纯的想知道明天会不会下雨，会不会有雾霾。根据你的...
机器学习 数据的采集和清洗
w15180622522的博客
10-14 2793
本人找到了一条路（不知道对错的路），采集训练的 数据和清理数据。 第一步  采集           涉及到如何利用爬虫采集网页csv文件            数据是在UCI 上的  UCI官网如下http://archive.ics.uci.edu/ml/index.php  。就拿里面最热门的Iris数据来说。进入数据的下载页http://archive.ics.uci.edu/ml/...
机器学习三之数据收集
TheBestKinlon的博客
11-26 685
数据的来源： 爬虫、买、实时数据、网上公开的数据集 数据处理成指定的格式 筛选数据 输入模型，进行训练 调优 保存模型 load开头的小数据集 fetch开头的是大数据集 make 本地数据集 from sklearn.datasets import * #鸢尾花数据集 data = load_iris() print(data) #获取的特征名 print(data.feature_names)...
机器学习中数据采样方式
AuGuSt_81的博客
11-21 6319
当机器学习中样本比例不平衡时，通常会对数据进行采样的方法，对数据采样可以有针对性地改变数据中样本的比例，采样一般有两种方式：over-sampling 和 under-sampling，前者是增加样本数较少的样本，其方式是直接复制原来的样本，而后者是减少样本数较多的样本，其方式是丢弃这些多余的样本。 通常来说，当总样本数目较多的时候考虑 under-sampling，而样本数数目较少的时候考
机器学习之分类学习（数据收集及清洗）
Jerry Wu的博客
08-29 2259
这个系列的文章参考自《python机器学习及其实践》。 分类学习属于有监督学习中最常用常用的学习方法，有监督学习是明确特征结果的，即每个数据都是有标签的。在实际生活中，我们会遇到很多分类问题，比如，对好人和坏人的分类；气象台的天气预告也是分类问题，通过出现的天气特征，预测是雨天还是晴天；生物学家进行物种分类。上面提到的分类问题都是已知了类别的，这就是有监督学习的特征之一。 分类学习也可以说机器学
机器学习在医疗健康领域的应用
qq_36287830的博客
11-09 917
机器学习是一种人工智能技术，通过训练模型来识别数据中的模式和规律，实现对未知数据的预测和分类。机器学习的核心思想是从数据中学习，通过算法自动提取特征，建立模型，进行预测和决策。
机器学习—Softmax
yn3535_的博客
11-09 488
它以为y=2，以此类推，如果y=j，那么损失函数loss=-log aj ，aj的负对数是一条曲线，如果aj非常接近1，那么会在曲线的右边，而且损失会很小，但如果aj只有50%的机会，就是就大了一点，aj越小损失越大，因此尽可能使aj大，尽可能接近损失小，注意，在这个损失函数中，每一个训练示例只能接收一个值，所以你最终计算出一个aj的负对数，只对aj的值，在那个特定的训练例子中，y=1的实际值是多少。Softmax回归算法是Logistic回归的推广，它是一种针对多类分类上下文的。
第十九周：机器学习
最新发布
benbenxinchen的博客
11-10 751
本周复习了线性回归模型的基本概念、步骤以及应用场景，进一步延伸到代码层面。动手实践了吴恩达机器学习实验1——线性回归，单变量线性回归和多变量线性回归分别用sklearn库的LinearRegression模型和自定义线性回归模型训练数据并且进行预测，最终得出效率和准确率的对比。该实验不仅复习了模型训练的基本步骤，还进一步手动代码实现了模型的定义、损失函数的设置以及最优化的处理。为了更加熟悉pytorch框架的基本知识，本周还简单学习了torch的数据处理方式。
从0开始学习机器学习--Day19--学习曲线
Chef_Chen的博客
11-08 1186
一般来说，如果一个算法的表现不理想，那么多半是因为出现了欠拟合或过拟合问题，这种时候我们要做的就是搞清楚出现的是偏差问题还是方差问题，亦或是二者皆有，这有助于我们精准定位问题所在。之前，我们发现假设函数多项式的次数越高，代价函数的误差就越小，假设我们把多项式的次数作为横坐标，训练集代价函数的误差为纵坐标画图，呈现出来的应该是随着横坐标增大纵坐标不断减小的图像：随着多项式次数增加两种代价函数的变化情况但如果换做是验证集的假设函数，图像又有所不同。可以看到在。
在线学习：大规模机器学习-斯坦福课程详解
斯坦福大学2014年的机器学习课程深入探讨了监督学习、无监督学习和机器学习最佳实践等核心内容。课程覆盖了参数和非参数算法、支持向量机、核函数、神经网络等方法，以及聚类、降维、推荐系统等无监督学习技术。此外...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无敌小猛男

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值