自学深度学习，这些途径可以获取数据集

最新推荐文章于 2024-06-30 22:08:04 发布
最新推荐文章于 2024-06-30 22:08:04 发布
阅读量9k 收藏 62
点赞数 7

来源：景略集智


学好机器学习的关键是用许多不同的数据集来练习。因为对不同的问题，需要有不同的数据准备和建模方法。我们首先分享一些有趣的数据集，权当练习资源，然后会说一说可以去哪里获得干净的高质量数据集。


20个趣味数据集

在Medium上有位叫Oliver Cameron的程序猿小哥特地分享了20个有趣的数据集，比如UFO目击报告等。整理如下：

20 Newsgroups

从20个网络新闻组中收集的20000条文本数据，可用于文本分析、分类等。

文件大小：61.6 M

http://kdd.ics.uci.edu/databases/20newsgroups/20newsgroups.data.html


Amazon Reviews

从亚马逊网站上获取的多达1亿4千2百万条顾客的购物评论，可用于情感分析、推荐系统研究等等。

文件大小：20G

http://jmcauley.ucsd.edu/data/amazon/


Football Strategy

包含数千个足球的踢球场景，用于帮足球教练做出最优决策。

文件大小：876 KB

https://link.zhihu.com/?target=https%3A//www.crowdflower.com/wp-content/uploads/2016/03/Football-Scenarios-DFE-832307.csv


Horses for Courses

赛马数据，用于预测赛马结果。

文件大小：19 M

https://www.kaggle.com/lukebyrne/horses-for-courses


Human Activity Recognition with Smartphones

识别人类日常活动比如走路、坐下等的感应数据。

文件大小：25 M

https://www.kaggle.com/uciml/human-activity-recognition-with-smartphones

Labeled Faces in the Wild

1万3千张附有人物名字的人脸照片，可用于人脸识别训练、多远训练，也可作为测试集。

文件大小：173 M

http://vis-www.cs.umass.edu/lfw/


National Survey on Drug Use and Health

根据健康调查问题预测药物使用状况。

文件大小：2 G

http://www.icpsr.umich.edu/icpsrweb/ICPSR/studies/34933


NORB 3D Object Recognition

50个玩具雕塑的立体图像数据集，可用于图像中的3D物体识别。

文件大小：包含多个文件，约5G

https://cs.nyu.edu/~ylclab/data/norb-v1.0/


One Million Songs

1百万首歌曲的音频特征及元数据的数据集，可用于音频识别与分类。

文件大小：1.8 G

https://labrosa.ee.columbia.edu/millionsong/


SMS Spam Collection

收集了5574份SMS文本数据，部分是正常内容，部分是垃圾内容，可用于训练垃圾过滤系统。

文件大小：204 KB

http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/

Hate Speech Identification

收集的推特推文样本，已经根据是否具有攻击性和包含仇恨内容进行了判断，可用于训练社交网络内容审核。

文件大小：2.66 M

下载地址：https://www.crowdflower.com/wp-content/uploads/2016/03/twitter-hate-speech-classifier-DFE-a845520.csv

Hidden Beauty of Flickr Pictures

1万5千个Flikr照片ID，均以按照美观度进行了分级，可用于图像分析。

文件大小：138 KB，需使用Flikr API获取照片。

http://www.di.unito.it/~schifane/dataset/beauty-icwsm15/


Yahoo Instant Messenger Friends Connectivity Graph

雅虎用户之间使用雅虎Messenger相互之间联系和交流的数据，可用于识别重要的社交联系和社交中有影响力的人。

文件大小：28 M

http://webscope.sandbox.yahoo.com/catalog.php?datatype=g

Record of Heart Sound

正常心跳和不正常心跳的数据，用于识别心脏杂音、预测心脏病等。

文件大小：47.7 M

http://mldata.org/repository/data/viewslug/record-of-heart-sound/


Banknote Dataset

根据给定钞票的数个度量的照片预测是真钞还是假钞。它是一个二元分类问题。每个类的观测值数量不均等。一共有 1372 个观察值，4个输入变量和1个输出变量。

文件大小：45 KB

http://archive.ics.uci.edu/ml/datasets/banknote+authentication


Wine Quality

白葡萄酒和红葡萄酒的化学属性和酒的品质，用于酒的分类问题。

文件大小：共3个文件，343KB

http://archive.ics.uci.edu/ml/datasets/Wine+Quality


Mushroom Identification

根据蘑菇的特点进行假设性地分类蘑菇属于有毒还是可食用。

文件大小：共3个文件，480 KB

http://archive.ics.uci.edu/ml/datasets/Mushroom


UFO Reports

一共8万份历史上的UFO事件报告，可用于UFO事件的分类和回归分析。该数据集以经过标准化处理。

文件大小：14.6 M

https://github.com/planetsig/ufo-reports


Militarized Interstate Disputes

过去200年世界各地冲突和威胁的数据集，包括军事行动、伤亡状况、敌对程度和冲突结果等，可用于地区冲突事件的建模与分析。

文件大小：962 KB

http://www.correlatesofwar.org/data-sets/MIDs


NBA & MLB Stats

过去十几年各个赛季NBA和MLB各大球队与球员的状态（截止到2017年），可用于NBA及超级碗大型赛事的预测。

文件大小：包含多个数据集

http://www.dougstats.com/


俗话说授人以鱼不如授人以渔嘛。看完这20个数据集后，我们再说一些发现数据集的好去处。不然等这20个数据集用完你肯定就把我忘了..



去哪里找高质量数据集？


在进行机器学习项目时，都希望能从数据集中的一些列预测出另一列，为了能做到这点，我们需要确保：

  • 数据集不能太混乱——如果太混乱，我们需要花费大量时间清理数据。

  • 要有个有趣的目标列作为预测目标。

  • 其它变量对目标列有一定的解释力。


幸好，网上有一些专为机器学习准备的数据集，都预先经过了清理，能很快用来测试算法。我们可以去这些地方获取这样的干净数据集：


1. Kaggle

Kaggle是一个举办机器学习比赛的数据科学社区，网站上有很多有意思的数据集。可以通过参加Kaggle机器学习比赛来下载相关数据集。


Kaggle数据集地址：

https://www.kaggle.com/datasets

这里是Kaggle上举办的一些机器学习比赛：

https://www.kaggle.com/competitions


2. UCI Machine Learning Repository

UCI Machine Learning Repository可以说是互联网上资历最老的数据集来源之一，上面包含了各种各样的数据集，而且绝大部分数据集都很干净，可以直接应用于机器学习项目。无需注册就可下载：

http://mlr.cs.umass.edu/ml/datasets.html

3. Quandl

Quandl是一个专门针对经济学和金融学领域的数据集资源库，部分可免费下载，部分需要付费。对于预测经济指标和股票等这样的机器学习项目，Quandl上的数据集是很适合的资源：https://www.quandl.com/search


4. Socrata OpenData

Socrata OpenData包含很多干净的数据集，可以直接在浏览器上使用，也可以下载下来，主要是用作数据分析。

https://opendata.socrata.com/


此外，如果你对数据集的质量要求不是很严格，一些科技公司推出的数据集也是不错的资源：


亚马逊公共数据集：

https://aws.amazon.com/cn/datasets/?_encoding=UTF8&jiveRedirect=1



谷歌公共数据集：

https://cloud.google.com/bigquery/public-data/


BuzzFeed数据集：

https://github.com/BuzzFeedNews


最后推出一个重磅资源，大神 Antoine Miech 将 27 个视频数据集整合在了一起，包含人类手势、动作识别等十几个类型，基本上你想用的视频数据集都能在这里找到：

https://www.di.ens.fr/~miech/datasetviz/


好了，今天的车就先开到这里。快下车去找找自己需要的数据集吧！


点击下方“阅读原文”了解【大数据实验平台】
↓↓↓
深度学习世界
关注
90+深度学习开源数据集整理｜包括目标检测、工业缺陷、图像分割等多个方向
bigData1994pb的博客
04-06 2200
小目标检测 1.AI-TOD航空图像数据集 数据集下载地址：http://m6z.cn/5MjlYk AI-TOD 在 28,036 张航拍图像中包含 8 个类别的 700,621 个对象实例。与现有航拍图像中的目标检测数据集相比，AI-TOD 中目标的平均大小约为 12.8 像素，远小于其他数据集。 2.iSAID航空图像大规模数据集 数据集下载地址：http://m6z.cn/6nUrYe 现有的 Earth Vision 数据集要么适用于语义分割，要么适用于对象检测。iSAID 是第一
[网络安全自学篇] 二十三.基于机器学习的恶意请求识别及安全领域中的机器学习
杨秀璋的专栏
11-01 1万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Web渗透的第一步工作，涉及网站信息、域名信息、端口信息、敏感信息及指纹信息收集。这篇文章换个口味，将分享机器学习在安全领域的应用，并复现一个基于机器学习（逻辑回归）的恶意请求识别。
自己学习深度学习时，有哪些途径寻找数据集？
weixin_30549657的博客
01-17 548
可以参考下面两个网址： https://www.zhihu.com/question/53655758 https://www.zhihu.com/question/53655758/answer/156701855 我来说说我自己的获取数据集的方法： 比如：识别 机械齿轮。 1、将齿轮放在白纸上，用手机录下这个齿轮（围绕这个齿轮，把各个角度拍下来） 2、使用matlab把...
机器学习数据获取途径
最新发布
JR521314的博客
06-30 189
当然, 一些工具包里也有自带的数据集, 例如, scikit-learn中自带鸢尾花数据集, 糖尿病数据集等。(1)机构门户网站数据集: 中国国家统计局, 美国政府公开数据, 联合国数据,1. 非技术手段获取(鄙人以为, 条件允许的话, 可以试试(●'◡'●) )通过爬虫去获取, 爬取线上的数据资源, 比如图片, 文本, 微博, 股票数据。2. 技术手段获取(真就是 "爬虫学的好, 牢饭吃到饱"😂 )4. DataCastle --专业的数据科学竞赛平台。线下访谈, 头脑风暴, 调查问卷。
深度学习数据集怎么找？
gu1857035894的博客
06-14 1734
人工智能的无名英雄就是数据，许多许多标注或未标注的数据。研究部门和公司也都认识到数据民主化是加快人工智能的必要步骤。事实上，我们很难用一篇文章来说明哪些开放数据集是有用的，那么深度学习数据集怎么找？本文介绍了我在深度学习科研中(不是工程实践)寻找数据集的方法。仅供参考，欢迎指正。深度学习数据集怎么找？这个问题可以等价为：如何判断一个数据集是否合适使用？通常“找数据集”和“找课题、方向”是相辅相成的(如果希望自己的代码有横向对比)1.确定大致方向2.浏览一下该方向最知名的数据集的形式3.确定一个具体方向，并保
深度学习数据库收集
Rainbow0618的学习日志
01-26 882
找的一些DL数据集，可以用来试模型： 1. 医学图像数据库的汇总（有些需要注册，大部分公开的）： https://github.com/beamandrew/medical-data 2. 比赛数据库：https://grand-challenge.org/All_Challenges/ 3. CIFAR-10/100：http://www.cs.toronto.edu/~kriz/cifa
机器学习/深度学习数据集获取
weixin_65028255的博客
10-06 1015
机器学习/深度学习数据集获取
【深度学习】因果推断与机器学习的高级实践 数学建模_问题根因 分析 机器学习(1)
2401_84302722的博客
05-02 85
当前，以深度学习为核心的机器学习和人工智能技术迅猛发展，给人们生产生活带来了巨大的深刻变化。人工智能在带来巨大机遇的同时，也蕴含着风险和挑战。现阶段以数据驱动、关联学习为模式的机器学习方法倾向于在数据驱动下对变量之间关联关系进行统计建模，缺乏以知识指导机制实现变量之间“由果溯因”的因果推断与分析有效方法，导致其普遍存在解释性不强、稳定性不高等问题。复杂数据中变量之间关联关系有三种来源：因果关联（Causation）、混淆偏差（Confounding Bias）和选择偏差（Selection Bias）。
吴恩达深度学习编程作业原版和答案
02-08
吴恩达的深度学习课程是入门这一领域的经典途径，作业与答案的提供更是为自学者提供了有力支持。 【压缩包子文件的文件名称列表】：AndrewNg-DeepLearning-master 这个列表中的"AndrewNg-DeepLearning-master"很...
《B站-青岛大学-王卓老师-数据结构与算法基础》自学心得、笔记（C++语言实现）.zip
06-16
算法是解决问题的步骤集，常见的算法包括排序（冒泡排序、选择排序、插入排序、快速排序、归并排序等）、搜索（线性搜索、二分搜索、深度优先搜索、广度优先搜索）、图算法（Dijkstra最短路径算法、Floyd-Warshall...
合工大数据结构 高分自用 全部实验代码合集
10-10
总的来说，“合工大数据结构 高分自用 全部实验代码合集”是一份宝贵的资源，它涵盖了数据结构的基础和进阶内容，结合C/C++编程，可以帮助学生或自学者巩固理论知识，提升实战能力。通过深入学习和实践这些实验，你...
获取训练数据的方式
一步一脚印
04-10 823
下载搜狗词库 https://pinyin.sogou.com/dict/ 在官网搜索相关的词库下载，比如地名等，然后使用脚本将此条转换成txt保存， 来源 # -*- coding: utf-8 -*- import os import sys import struct # 主要两部分 # 1.全局拼音表，貌似是所有的拼音组合，字典序 # 格式为(index,len,pinyi...
【干货】二十五个深度学习相关公开数据集
深度学习世界
04-13 1799
（选自Analytics Vidhya；作者：Pranav Dar；磐石编译）目录介绍 图像处理相关数据集自然语言处理相关数据集语音处理相关数据集Supplement一．介绍通常来说，深度学习的关键在于实践。从图像处理到语音识别，每一个细分领域都有着独特的细微差别和解决方法。然而，你可以从哪里获得这些数据呢？现在大家所看到的大部分研究论文都用的是专有数据集，这些专有数据集又通常不会公开。那么，想实
怎么寻找数据集
一起躺躺躺的博客
04-06 9845
1、paperswithcodes datasets：一个网站，论文的代码实现以及在各个数据集上面的表现，也有一些论文常见的数据集 2、Kaggle datasets：一个竞赛的网站，有常见数据集，也有用户上穿的数据集，用户上传的数据集质量参差不齐，需要自己判断 3、Google dataset search：一个数据集的搜索引擎，可以在上面搜索需要的数据集，返回结果是各种网站相应的数据集 4、也有各种各样集成的工具数据集，比如tensorflow、huggingface 5、从各种竞赛或者公司中发
我是如何寻找数据集的，一些个人私藏
Kaiyuan_sjtu的博客
07-02 5120
大家好，我是kaiyuan。最近有同学微信问我某某方向的数据集在哪里找，于是周末抽空整理了十多个非常全面的数据集查找平台，分享给大家。下面都带了链接，有些可能会需要梯子，收藏Enjoy！呼...
获取数据集的途径
weixin_48932514的博客
12-14 5811
1：在kaggle上获取数据集，网址为https://www.kaggle.com/datasets 2：谷歌数据集搜索引擎（前提是你能上外网），网址为：https://toolbox.google.com/datasetsearch 3：微软数据集，网址为：https://msropendata.com/ 4：美国政府数据集，网址为：https://www.data.gov/ 5：欧盟数据集，网址为：https://data.europa.eu/euodp/data/dataset 6：中国国家统计数据集
【模型训练数据集的查找与下载】
qq_29960631的博客
08-16 3897
常用深度学习模型训练集下载，覆盖全网99.9%的公开数据集
机器学习需要的大量数据集从哪里找?
qwj的博客
10-18 630
这里汇总了医学图像、卫星图像、语义分割、自动驾驶、图像分类、人脸、农业、打架识别等多个方向的数据集资源，均附有下载链接。
数据集下载渠道汇总
热门推荐
sslfk的博客
03-09 3万+
Hugging Face – The AI community building the future. Machine Learning Datasets | Papers With Code
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值