100款机器学习数据集

Kaggle

 

书籍推荐数据集(goodreads/上万图书/百万评价)【Kaggle】

https://www.kaggle.com/zygmunt/goodbooks-10k

 

带有预期点数和获胜概率的NFL比赛详情数据集(2009-2016)【Kaggle】

https://www.kaggle.com/maxhorowitz/nflplaybyplay2009to2016

 

HackerNews数据集(2006年以来约1/4文章) 【Kaggle】

https://www.kaggle.com/hacker-news/hacker-news-corpus

 

酒店评价数据集【Kaggle】

https://www.kaggle.com/datafiniti/hotel-reviews

 

1950年以来NBA球员状态&表现数据集【Kaggle】

https://www.kaggle.com/drgilermo/nba-players-stats

 

开普勒太空望远镜深空星球光强时序数据集【Kaggle】

https://www.kaggle.com/keplersmachines/kepler-labelled-time-series-data

 

巴基斯坦无人机袭击数据集(2004-2016)【Kaggle】

https://www.kaggle.com/zusmani/pakistandroneattacks

 

墨尔本房屋市场数据集【Kaggle】

https://www.kaggle.com/anthonypino/melbourne-housing-market

 

1789-2016历任美国总统签署行政命令数据集【Kaggle】

https://www.kaggle.com/nationalarchives/executive-orders

 

来自Stack Overflow平台的Python语言问答数据集【Kaggle】

https://www.kaggle.com/stackoverflow/pythonquestions

 

来自Stack Overflow品台的R语言问答数据集【Kaggle】

https://www.kaggle.com/stackoverflow/rquestions

 

每日海冰范围数据集【Kaggle】

https://www.kaggle.com/nsidcorg/daily-sea-ice-extent-data

 

NIPS(1987-2016)论文数据集【Kaggle】

https://www.kaggle.com/benhamner/nips-papers

 

▍大学公开数据集

 

(Stanford)69G大规模无人机(校园)图像数据集【Stanford】

http://cvgl.stanford.edu/projects/uav_data/

 

人脸素描数据集【CUHK】

http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html

 

自然语言推理(文本蕴含标记)数据集【NYU】

https://www.nyu.edu/projects/bowman/multinli/

 

Berkeley图像分割数据集BSDS500【Berkeley】

https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resources.html

 

宠物图片(分割)数据集【Oxford】

http://www.robots.ox.ac.uk/~vgg/data/pets/

 

发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】

https://groups.csail.mit.edu/vision/datasets/ADE20K/

 

多模态二元行为数据集【GaTech】

http://www.cbi.gatech.edu/mmdb/

 

▍计算机视觉／图像／视频数据集：

 

Fashion-MNIST风格服饰图像数据集【肖涵】

https://github.com/zalandoresearch/fashion-mnist

 

大型(50万)LOGO标志数据集

https://data.vision.ee.ethz.ch/cvl/lld/

 

4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】

http://dfaust.is.tue.mpg.de

 

基于MNIST的视觉计数合成数据集Counting MNIST

http://fomoro.com/tools/counting-mnist/

 

YouTube MV视频数据集【Keunwoo Choi】

https://github.com/keunwoochoi/YouTube-music-video-5M

 

计算机视觉合成数据集/工具大列表【unrealcv】

https://github.com/unrealcv/synthetic-computer-vision

 

动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】

http://cvml.ist.ac.at/AwA2/

 

日本漫画数据集Manga109

http://dl.acm.org/citation.cfm?doid=3011549.3011551

 

俯拍舞蹈视频数据集

http://homepages.inf.ed.ac.uk/rbf/CEILIDHDATA/

 

Pixiv(着色)图片数据集【Jerry Li】

https://github.com/jerryli27/pixiv_dataset

 

e-VDS视频数据集

https://engineering.purdue.edu/elab/eVDS/#download

 

Quick, Draw!简笔画涂鸦数据集

https://github.com/googlecreativelab/quickdraw-dataset

 

简笔画涂鸦数据集【hardmaru】

https://github.com/hardmaru/sketch-rnn-datasets

 

服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】

http://files.is.tue.mpg.de/classner/gp/

 

COCO像素级标注数据集

https://github.com/nightrome/cocostuff

 

大规模街道级图片(分割)数据集【Peter Kontschieder】

http://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html

 

大规模日语图片描述数据集

https://github.com/STAIR-Lab-CIT/STAIR-captions

 

Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）

https://github.com/mcordts/cityscapesScripts

 

(街头)时尚服饰数据集(2000+标注图片)

https://github.com/bearpaw/clothing-co-parsing

 

PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】

https://github.com/bodokaiser/piwise

 

Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】

https://www.re-work.co/blog/the-something-something-video-dataset

 

▍文本／评价／问答／自然语言数据集：

 

(20万)英文笑话数据集【TaivoPungas】

https://github.com/taivop/joke-dataset

 

机器学习保险行业问答开放数据集【HainWang】

https://github.com/shuzi/insuranceQA

 

保险行业问答(QA)数据集【Minwei Feng】

https://github.com/shuzi/insuranceQA

 

Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】

https://github.com/keunwoochoi/YouTube-music-video-5M

 

实体/名词语义关系标记数据集【David S. Batista】

https://github.com/davidsbatista/Annotated-Semantic-Relationships-Datasets

 

NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)

http://lic.nlp.cornell.edu/nlvr/

 

2.8万文章/10万问题大规模(英语考试)阅读理解数据集

https://github.com/qizhex/RACE_AR_baselines

 

错误拼写数据集

http://www.dcs.bbk.ac.uk/~ROGER/corpora.html

 

文本简化数据集

http://www.cs.pomona.edu/~dkauchak/simplification/

 

英语词/句/语义框架框架标注数据集FrameNet

https://framenet.icsi.berkeley.edu/fndrupal/

 

(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】

https://github.com/niderhoff/nlp-datasets

 

跨语种/多样式/多粒度文本相似性检测数据集

https://github.com/FerreroJeremy/Cross-Language-Dataset

 

Quora数据集：400000行潜在重复问题

http://qim.ec.quoracdn.net/quora_duplicate_questions.tsv

 

文本分类数据集

http://disi.unitn.it/moschitti/corpora.htm

 

Frames：Maluuba对话数据集

https://datasets.maluuba.com/Frames/dl

 

跨域(Amazon商品评论)情感数据集

http://www.cs.jhu.edu/~mdredze/datasets/sentiment/

 

语义网机器学习系统评价/基准数据集集合

http://dws.informatik.uni-mannheim.de/en/research/a-collection-of-benchmark-datasets-for-ml

 

▍其它数据集

 

数据科学/机器学习数据集汇总

https://elitedatascience.com/datasets

 

CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】

https://vlomonaco.github.io/core50/

 

(Matlab)数据集统计分布自动发现【Isabel Valera】

http://proceedings.mlr.press/v70/valera17a.html

 

(建筑物)损害评估数据集【tsunami】

https://github.com/faiton713/ABCDdataset

 

IndieWeb社交图谱数据集【IndieWeb】

http://www.indiemap.org

 

DeepMind开源环境/数据集/代码集合【DeepMind】

https://deepmind.com/research/open-source/

 

鸟叫声数据集【xeno-canto】

http://www.xeno-canto.org

 

Wolfram数据集仓库

https://datarepository.wolframcloud.com

 

大型音乐分析数据集FMA

https://github.com/mdeff/fma

 

(300万)Instacart在线杂货购物数据集【Jeremy Stanley】

https://tech.instacart.com/3-million-instacart-orders-open-sourced-d40d29ead6f2

 

用于欺诈检测的合成财务数据集【TESTIMON】

https://www.kaggle.com/ntnu-testimon/paysim1

 

NSynth：大规模高质量音符标记音频数据集

https://magenta.tensorflow.org/datasets/nsynth

 

LIBSVM格式分类/回归/多标签/字符串数据集

https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html

 

笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】

http://dsnotes.com/post/2017-02-07-large-data-feature-hashing-and-online-learning-part-2/

 

StackExchange近似/重复问题数据集

http://nlp.cis.unimelb.edu.au/resources/cqadupstack/

 

2010-2017最全KDD CUP赛题回顾及数据集

http://suo.im/2kRoQ1

 

食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】

https://www.kaggle.com/hugodarwood/epirecipes

 

奥斯卡数据集【Academy of Motion Picture Arts and Sciences】

https://www.kaggle.com/theacademy/academy-awards

 

计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】

https://github.com/AKSHAYUBHAT/ComputationalHealthcare

 

聚类数据集

https://cs.joensuu.fi/sipu/datasets/

 

官方开放气候数据集

https://pan.baidu.com/s/1i52Xarb

 

全球恐怖袭击事件数据集【START Consortium】

https://www.kaggle.com/START-UMD/gtd

 

七个机器学习时序数据集

https://machinelearningmastery.com/time-series-datasets-for-machine-learning/

 

大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)

http://t.cn/RNMr09n

 

赛马赔率数据集

http://t.cn/RNf0tXN

 

新的YELP数据集：包含470万评论和15.6万商家

http://t.cn/RNG6JYi

 

JMIR数据集专刊《JMIR Data》

http://t.cn/RCIhmvS

 

用于评价监督机器学习算法的基准数据集

https:// github.com/EpistasisLab/penn-ml-benchmarks

 

人口普查收入数据集分类

https:// github.com/dformoso/sklearn-classification

 

日文木版印刷文字识别数据集

http://t.cn/RCZPfYB

 

多模态二元行为数据集

http://t.cn/RCzFn1g

 

(TensorFlow)AudioSet音频事件数据集分类模型

GitHub: tensorflow/models/tree/master/audioset

 

Facebook星际争霸游戏数据集

(TorchCraft可读/365GB/6万多场次/15亿帧画面/近5亿用户操作)

http://t.cn/R9j8AUM

 

机器学习论文/数据集/工具集锦(日文)

http://t.cn/RKV7x2A

 

机器学习公司的十大数据搜集策略

http://t.cn/R54rtvd

 

NLP数据集加载工具集

http://t.cn/RaYwYXl

 

日语相似词数据集

http://t.cn/RaVFV35

 

大规模人本完形填空(多选阅读理解)数据集

http://t.cn/Rac2Pey

 

高质量免费数据集列表

http://t.cn/R6B1aqa

 

《数据之美》自然语言数据集/代码

http://t.cn/hBOTM4

 

微软数据集MS MARCO，阅读理解领域的「ImageNet」

http://t.cn/RIMqGBK

 

AI2科学问答数据集(多选)

http://t.cn/RI5liwJ

 

转载：https://blog.csdn.net/Touch_Dream/article/details/77847057

 

 

1. 国内数据

链接：http://pan.baidu.com/s/1sleuXg5 

密码：7xa4

2. 全球社交媒体

链接：http://pan.baidu.com/s/1c2l7a28 

密码：nbni

3. 好玩的数据集

链接：http://pan.baidu.com/s/1mhZf3MK 

密码：y8bt

4. 各大企业电话邮箱创立时间

链接：http://pan.baidu.com/s/1bprEF75 

密码：prge

5. 微软数据

链接：http://pan.baidu.com/s/1hsyqd9a 

密码：du28

6. 98-09年经济普查

链接：http://pan.baidu.com/s/1slhIMVb 

密码：5282

7. 微博数据集

链接：http://pan.baidu.com/s/1pK9WRGJ 

密码：7quk

8. 各国各产业资产数据

链接：http://pan.baidu.com/s/1cCF0Gu 

密码：j3uf

9. 京东2015自营

链接：http://pan.baidu.com/s/1i5K8J3Z 

密码：uo1r

10. 遥感影像库

链接：http://pan.baidu.com/s/1nvazrdf 

密码：v1nl

11. 百度数据

链接：http://pan.baidu.com/s/1jIPqum6 

密码：4yoq

12. 1990-2016年股票数据

链接：http://pan.baidu.com/s/1qYLGuvE 

密码：3hoy

13. 1953-2013统计年鉴

链接：http://pan.baidu.com/s/1o8dfimI 

密码：soec

14. 2015全国人口普查

链接：http://pan.baidu.com/s/1slOwjyH 

密码：n5ap

15. facebook大数据

链接：http://pan.baidu.com/s/1jH7zlci 

密码：itjp

16. taiwind数据

链接：http://pan.baidu.com/s/1misIp2g 

密码：w20u

17. 维基百科数据

链接：http://pan.baidu.com/s/1bpL0SO3 

密码：qp8i

18. kaggle竞赛数据

链接：http://pan.baidu.com/s/1bpMMPcz 

密码：i6h1

19. 生物数据

链接：http://pan.baidu.com/s/1jIHiSQU 

密码：grbm

20. NASA数据

链接：http://pan.baidu.com/s/1nvlUE85 

密码：bujk

21. 基因组数据

链接：http://pan.baidu.com/s/1jHNEr2m

密码：718m

22. 新闻数据

链接：http://pan.baidu.com/s/1o8yJNRk 

密码：963u

23. ImageNet数据

链接：http://pan.baidu.com/s/1dERmqcT 

密码：35dj

24. 图像数据

链接：http://pan.baidu.com/s/1qYIY8pA 

密码：9a64

25. google数据

链接：http://pan.baidu.com/s/1geXTKg7 

密码：i2fy

26. 分类练习数据

链接：http://pan.baidu.com/s/1i50VS3N 

密码：l66z

27. 各大联赛世界杯数据

链接：http://pan.baidu.com/s/1qYRgbBA 

密码：vngm

28. 自动驾驶数据

链接：http://pan.baidu.com/s/1c1HeSiG 

密码：7ogl

29. UCI公开数据集

链接：http://pan.baidu.com/s/1c21Ma0C 密码：6r2f

转载：https://blog.csdn.net/zuochao_2013/article/details/72899727

你是否需要大量的数据来检验你的APP性能？最简单的方法是从网上免费数据存储库下载数据样本。但这种方法最大的缺点是数据很少有独特的内容并且不一定能达到预期的结果。以下是70多家可以获得免费大数据存储库的网站。

Wikipedia:Database ：向感兴趣的用户提供所有可用的内容的免费副本。可以得到多种语言的数据。内容连同图片可以下载。

Common crawl 建立并维护一个所有人都可以访问的开放的网络。这个数据保存在亚马逊s3bucket中，请求者可能花费一些钱来访问它。

Common crawl ：建立并维护一个开放的网络，向所有人开放。

EDRM File Formats Data Set：由381个文件夹200种文件格式组成。

Apache Mahout  TLP项目创建一个可扩展的机器学习算法。Mahout有许多免费的和付费的语料库语料。

EDRM Enron Email Data Set v2由安然公司邮件信息和附件组成，存在两组可下载的压缩文件中：XML和PST。

ClueWeb09用来支持信息检索和相关人类语言技术研究的资料库。它包含了从2009年1月到2月间收集的大约10亿个网页，包含10种语言。资料库被若干TREC会议的追踪检测使用。

DMOZ –最大的、最全面的人工编辑的开放式网站目录。它收集了不同类型的网站链接。Dmoz是互联网搜索引擎的一个主要来源。

theinfo.org –这是一个大数据集网站，在这里学者、设计师、艺术家等可以交流技巧和窍门，一起开发和共享工具，并开始整合他们独有的项目。

Project Gutenberg 提供超过36000免费电子书的下载，可以下载到个人电脑、Kindle, Android, iOS or 或其他便携式设备。

Million song data set：与tracks 和艺术家有关的数据

AWS (Amazon Web Services) Public Data Sets：提供了可以无缝融入AWS（亚马逊网络服务）云应用的公共数据集的集中存储库。

BigML big list of public data sources.

Bioassay data：研究文章“生物测定数据的虚拟筛选”，由Amanda Schierz编写，有21个生物测定数据集（活性/非生理活性成分），可以下载。

Bitly 1.usa.gov data：匿名点击政府链接

Canada Open Data：有许多政府和地理空间的数据集的试点项目

Canada Open Data：许多政府和地理空间数据集的试点项目。

Causality Workbench：数据存储库

Corral Big Data repository：在德克萨斯高级计算中心，提供以数据为中心的技术。

Data Source Handbook:公开数据指南

Datacatalogs.org：来自美国、欧盟、加拿大、CKAN以及其他的公开政府数据

Data.gov.uk：英国的公共可用数据（London datastore也是）

Data.gov/Education：对于教育数据资源的主要指南，包括高价值的数据集、数据可视化、课堂资源、创建自公开数据的应用程序以及其他。

DataMarket：可视化的世界经济、社会、自然和工业，拥有来自联合国，世界银行，欧盟统计局和其他重要数据提供者的一亿时间序列。

Datamob：可以很好利用的公开数据

DataSF.org：可向City & County of San Francisco, CA.购买的数据集信息交流中心

DataFerrett：一个用来访问和使用The Data Web的数据挖掘工具，许多网上美国政务数据集的集合。

EconData：大量经济学的时间序列，由许多美国政府机构编制。

Enron Email Dataset：来自大约150个用户的数据，这些用户大多数是安然公司高级管理人员

Europeana Data：包含2000万文字，图片，视频开放的元数据，以及由欧洲数位图书馆收集的声音，对于欧洲文化遗产内容值得信赖的、全面的资源。

Europeana Data：

FEDSTATS：一个美国统计资料的综合资源以及更多

FIMI repository for frequent itemset mining：工具和数据集

Financial Data Finder at OSU：大型财务数据集目录

GDELT:关于事件、位置和音调的全球数据，被英国卫报形容为“生命、宇宙和一切的大数据历史”

GEO (GEO Gene Expression Omnibus)：一个支持MIAME兼容数据提交的基因表达/分子丰度信息库，一个精心策划的网上资源，用于基因表达数据的浏览，查询和检索。

GeoDa Center：地理和空间数据

Google ngrams datasets：来自数Google扫描的百万书籍文本

Grain Market Research：财务数据，包括股票、期货等

Hilary Mason research-quality Big Data sets收集许多文本和图片数据集

HitCompanies Datasets：HitCompanies随机取样的1万个英国公司全面的数据，采用人工智能/机器学习进行自动更新。

ICWSM-2009 dataset：包含2008年8月1日到10月1日之间的4400万个博文

Infochimps：一个数据开放的目录和集合，允许分享、出售和下载关于任何内容的数据。

Investor Links：包含财物数据

KDD Cup center：数据、工作表和结果

Kevin Chai list of datasets：文本、SNA和其他领域

KONECT：科布伦茨网络收集，拥有大量各种类型的网络数据集，以便在网络挖掘领域进行研究。

Linking Open Data 工程，免费向所有人提供数据

MIT Cancer Genomics gene expression datasets and publications：来自麻省理工Whitehead Center用于基因组研究

ML Data：欧盟Pascal2网络数据储存库

NASDAQ Data Store：提供市场数据

National Government Statistical Web Sites：来自大约70个网站的数据、报告、统计年鉴、新闻和其他，包括非洲、欧洲、亚洲和拉丁美洲的国家。

National Space Science Data Center (NSSDC)：美国国家航空航天局的数据集，包含行星探索、空间和太阳物理学、生命科学、天体物理学以及其他方面。

Open Data Census：评估世界各地的开放数据的状态。

OpenData from Socrata：允许访问超过10000个数据集，包括商业、教育、政府和娱乐

Open Source Sports：大量运动数据库，包括棒球、足球、篮球和曲棍球

Peter Skomoroch dataset Bookmarks PubGene(TM) Gene Database and Tools：基因组有关的出版物数据库

Quandl, a collaboratively curated portal to millions of financial and economic time-series datasets.

qunb：一个用来发现和可视化的数据资料的平台

Robert Schiller data：住房建筑、股票市场和更多的来自于他的书 Irrational Exuberance的数据

SMD: Stanford Microarray Database,存储来自微阵列实验的原始的和标准的数据

Jerry Smith dataset collection：财经、政府、机器学习、科学和其他数据

SourceForge.net Research Data：包含大约10万个项目和超过100万注册用户的活动的历史和现状的统计数据的项目管理网站。

StatLib,卡内基梅隆大学数据档案

STATOO Datasets part 1和 STATOO Datasets part 2

Time Series Data Library

Visual Analytics Benchmark Repository.

UCI KDD Database Repository ：适用于机器学习和知识发现研究的大数据集

UCI Machine Learning Repository.

UCR Time Series Data Archive：提供数据集、论文、链接和代码

United States Census Bureau.

Wikiposit：一个（虚拟的）融合了来自许多不同网站的数据（大多数是金融的），允许用户合并来自不同来源的数据

Wolfram Alpha disease and patient level dat.

Yahoo Sandbox datasets：语言、图表、评级、广告与营销、竞赛

Yelp Academic Dataset：30家大学的250个最接近商业的所有数据和评论，为学生和学者来探讨和研究

199IT编译自http://www.bigdata-madesimple.com/70-websites-to-get-large-data-repositories-for-free/