数据集汇总

内容转自https://blog.csdn.net/qq_32447301/article/details/79487335

金融

• 美国劳工部统计局官方发布数据
• 上证A股日线数据，1999.12.09 至 2016.06.08，前复权，1095支股票
• 深证A股日线数据，1999.12.09 至 2016.06.08，前复权，1766支股票
• 深证创业板日线数据，1999.12.09 至 2016.06.08，前复权，510支股票
• MT4平台外汇交易历史数据
• Forex平台外汇交易历史数据
• 几组外汇交易逐笔（Ticks）数据
• 美国股票新闻数据【Kaggle数据】
• 美国医疗保险市场数据【Kaggle数据】
• 美国金融客户投诉数据【Kaggle数据】
• Lending Club 网贷违约数据【Kaggle数据】
• 信用卡欺诈数据【Kaggle 数据】
• 某个金融产品实时交易数据【Kaggle数据】
• 美国股票数据XBRL【Kaggle数据】
• 纽约股票交易所数据【Kaggle数据】

交通

• 2013年纽约出租车行驶数据
• Udacity自动驾驶数据
• 纽约 Uber 接客数据 【Kaggle数据】
• 英国车祸数据（2005-2015）【Kaagle数据】
• 芝加哥汽车超速数据【Kaggle数据】

商业

• Amazon 食品评论数据【Kaggle数据】
• Amazon 无锁手机评论数据【Kaggle数据】
• 美国视频游戏销售和评价数据【Kaggle数据】
• Kaggle 各项竞赛情况数据【Kaggle数据】

推荐系统

• Netflix 电影评价数据
• MovieLens 20m 电影推荐数据集
• WikiLens
• Jester
• HetRec2011
• Book Crossing
• Large Movie Review

医疗健康

• 人识别物体时大脑核磁共振影像数据
• 人理解单词时大脑核磁共振影像数据
• 心脏病心房图像及标注数据
• 细胞病理识别
• FIRE 视网膜眼底病变图像数据
• 食物营养成分数据 【Kaggle数据】
• EGG 大脑电波形状数据【Kaggle数据】

图像数据

综合图像

• Visual Genome 图像数据
• Visual7w 图像数据
• COCO 图像数据
• SUFR 图像数据
• ILSVRC 2014 训练数据（ImageNet的一部分）
• PASCAL Visual Object Classes 2012 图像数据
• PASCAL Visual Object Classes 2011 图像数据
• PASCAL Visual Object Classes 2010 图像数据
• 80 Million Tiny Image 图像数据【数据太大仅有介绍】
• ImageNet【数据太大仅有介绍】

场景图像

• Street Scences 图像数据
• Places2 场景图像数据
• UCF Google Street View 图像数据
• SUN 场景图像数据
• The Celebrity in Places 图像数据

Web标签图像

• HARRISON 社交标签图像
• NUS-WIDE 标签图像
• Visual Synset 标签图像
• Animals With Attributes 标签图像

人形轮廓图像

• MPII Human Shape人体轮廓数据
• Biwi Kinect Head Pose 头部姿势数据
• 上半身人像数据
• INRIA Person 数据集

视觉文字识别图像

• Street View House Number 门牌号图像数据
• MNIST 手写数字识别图像数据
• 3D MNIST 数字识别图像数据【Kaggle数据】
• MediaTeam Document 文档影印和内容数据

特定一类事物图像

• 著名的猫图像标注数据
• Caltech-UCSD Birds200 鸟类图像数据
• Stanford Car 汽车图像数据
• Cars 汽车图像数据
• MIT Cars 汽车图像数据
• Stanford Cars 汽车图像数据
• Food-101 美食图像数据
• 17_Category_Flower 图像数据
• 102_Category_Flower 图像数据
• UCI Folio Leaf 图像数据
• Labeled Fishes in the Wild 鱼类图像
• 美国 Yelp 点评网站酒店照片
• CMU-Oxford Sculpture 塑像雕像图像
• Oxford-IIIT Pet 宠物图像数据

材质纹理图像

• CURET 纹理材质图像数据
• ETHZ Synthesizability 纹理图像数据
• KTH-TIPS 纹理材质图像数据
• Describable Textures 纹理图像数据

物体分类图像

• COIL-20 图像数据
• COIL-100 图像数据
• Caltech-101 图像数据
• Caltech-256 图像数据
• CIFAR-10 图像数据
• CIFAR-100 图像数据
• STL-10 图像数据
• LabelMe_12_50k图像数据
• NORB v1.0 图像数据
• NEC Toy Animal 图像数据
• iCubWorld 图像分类数据
• Multi-class 图像分类数据
• GRAZ 图像分类数据

人脸图像

• IMDB-WIKI 500k+ 人脸图像、年龄性别数据
• Labeled Faces in the Wild 人脸数据
• Extended Yale Face Database B 人脸数据
• Bao Face 人脸数据
• DC-IGN 论文人脸数据
• 300 Face in Wild 图像数据
• BioID Face 人脸数据
• CMU Frontal Face Images
• FDDB_Face Detection Data Set and Benchmark
• NIST Mugshot Identification Database
• Faces in the Wild 人脸数据
• CelebA 名人人脸图像数据
• VGG Face 人脸图像数据

姿势动作图像

• HMDB_a large human motion database
• Human Actions and Scenes Dataset

指纹识别

• NIST FIGS 指纹识别数据

其它图像数据

• Visual Question Answering 图像数据

视频数据

综合视频

• DAVIS_Densely Annotated Video Segmentation 数据
• YouTube-8M 视频数据集【数据太大仅有介绍】
• YouTube 网站视频备份【数据太大仅有介绍】

人类动作视频

• Microsoft Research Action 人类动作视频数据
• UCF50 Action Recognition 动作识别数据
• UCF101 Action Recognition 动作识别数据
• UT-Interaction 人类动作视频数据
• UCF iPhone 运动中传感器数据
• UCF YouTube 人类动作视频数据
• UCF Sport 人类动作视频数据
• UCF-ARG 人类动作视频数据
• HMDB 人类动作视频
• HOLLYWOOD2 人类行为动作视频数据
• Recognition of human actions 动作视频数据
• Motion Capture 动作捕捉视频数据
• SBU Kinect Interaction 肢体动作视频数据

行人检测视频

• UCSD Pedestrian 行人视频数据
• Caltech Pedestrian 行人视频数据
• ETH 行人视频数据
• INRIA 行人视频数据
• TudBrussels 行人视频数据
• Daimler 行人视频数据

密集人群视频

• Crowd Counting 高密度人群图像
• Crowd Segmentation 高密度人群视频数据
• Tracking in High Density Crowds 高密度人群视频

其它视频

• Fire Detection 视频数据

 

音频数据

 

综合音频

Google Audioset 音频数据【数据太大仅有介绍】

语音识别

• Sinhala TTS 英语语音识别
• TIMIT 美式英语语音识别数据
• LibriSpeech ASR corpus 语音数据
• Room Impulse Response and Noise 语音数据
• ALFFA 非洲语音数据

 

自然语言处理

 

• RCV1英语新闻数据
• 20news 英语新闻数据
• First Quora Release Question Pairs
• JRC Names各国语言专有实体名称
• Multi-Domain Sentiment V2.0
• LETOR 信息检索数据
• Yale Youtube Vedio Text
• 斯坦福问答数据【Kaggle数据】
• 美国假新闻数据【Kaggle数据】
• NIPS会议文章信息数据（1987-2016）【Kaggle数据】
• 2016年美国总统选举辩论数据【Kaggle数据】

 

社会数据

 

• 希拉里邮件门泄露邮件
• 波士顿 Airbnb 公开数据【Kaggle数据】
• 世界各国经济发展数据【Kaagle数据】 
• 世界大学排名芝加哥犯罪数据（2001-2017）【Kaagle数据】
• 世界范围显著地震数据（1965-2016）【Kaagle数据】
• 美国婴儿姓名数据【Kaagle数据】
• 全世界鲨鱼袭击人类数据【Kaagle数据】
• 1908年以来空难数据【Kaagle数据】
• 2016年美国总统大选数据【Kaagle数据】
• 2013年美国社区统计数据【Kaagle数据】
• 欧洲足球运动员赛事表现数据【Kaagle数据】
• 美国环境污染数据【Kaagle数据】
• 美国H1-B签证申请数据【Kaggle数据】
• IMDB五千部电影数据【Kaggle数据】
• 2015年航班延误和取消数据【Kaggle数据】
• 凶杀案报告数据【Kaggle数据】
• 人力资源分析数据【Kaggle数据】
• 某人基因序列数据【Kaggle数据】
• 美国费城犯罪数据【Kaggle数据】
• 安然公司邮件数据【Kaggle数据】
• 历史棒球数据【Kaggle数据】
• 美联航 Twitter 用户评论数据【Kaggle数据】
• 波士顿 Airbnb 公开数据【Kaggle数据】

新增数据集：

http://nltk.org/nltk_data/

https://pan.baidu.com/s/1szmNZQrwh9y994uO8DFL_A 提取码：f2ex  容量为1.8GB

http://sighan.cs.uchicago.edu/bakeoff2005/

Kaggle

书籍推荐数据集(goodreads/上万图书/百万评价)【Kaggle】

https://www.kaggle.com/zygmunt/goodbooks-10k

带有预期点数和获胜概率的NFL比赛详情数据集(2009-2016)【Kaggle】

https://www.kaggle.com/maxhorowitz/nflplaybyplay2009to2016

HackerNews数据集(2006年以来约1/4文章) 【Kaggle】

https://www.kaggle.com/hacker-news/hacker-news-corpus

酒店评价数据集【Kaggle】

https://www.kaggle.com/datafiniti/hotel-reviews

1950年以来NBA球员状态&表现数据集【Kaggle】

https://www.kaggle.com/drgilermo/nba-players-stats

开普勒太空望远镜深空星球光强时序数据集【Kaggle】

https://www.kaggle.com/keplersmachines/kepler-labelled-time-series-data

巴基斯坦无人机袭击数据集(2004-2016)【Kaggle】

https://www.kaggle.com/zusmani/pakistandroneattacks

墨尔本房屋市场数据集【Kaggle】

https://www.kaggle.com/anthonypino/melbourne-housing-market

1789-2016历任美国总统签署行政命令数据集【Kaggle】

https://www.kaggle.com/nationalarchives/executive-orders

来自Stack Overflow平台的Python语言问答数据集【Kaggle】

https://www.kaggle.com/stackoverflow/pythonquestions

来自Stack Overflow品台的R语言问答数据集【Kaggle】

https://www.kaggle.com/stackoverflow/rquestions

每日海冰范围数据集【Kaggle】

https://www.kaggle.com/nsidcorg/daily-sea-ice-extent-data

NIPS(1987-2016)论文数据集【Kaggle】

https://www.kaggle.com/benhamner/nips-papers

▍大学公开数据集

(Stanford)69G大规模无人机(校园)图像数据集【Stanford】

http://cvgl.stanford.edu/projects/uav_data/

人脸素描数据集【CUHK】

http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html

自然语言推理(文本蕴含标记)数据集【NYU】

https://www.nyu.edu/projects/bowman/multinli/

Berkeley图像分割数据集BSDS500【Berkeley】

https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resources.html

宠物图片(分割)数据集【Oxford】

http://www.robots.ox.ac.uk/~vgg/data/pets/

发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】

https://groups.csail.mit.edu/vision/datasets/ADE20K/

多模态二元行为数据集【GaTech】

http://www.cbi.gatech.edu/mmdb/

▍计算机视觉／图像／视频数据集：

Fashion-MNIST风格服饰图像数据集【肖涵】

https://github.com/zalandoresearch/fashion-mnist

大型(50万)LOGO标志数据集

https://data.vision.ee.ethz.ch/cvl/lld/

4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】

http://dfaust.is.tue.mpg.de

基于MNIST的视觉计数合成数据集Counting MNIST

http://fomoro.com/tools/counting-mnist/

YouTube MV视频数据集【Keunwoo Choi】

https://github.com/keunwoochoi/YouTube-music-video-5M

计算机视觉合成数据集/工具大列表【unrealcv】

https://github.com/unrealcv/synthetic-computer-vision

动物属性标记数据集【ChristophH. Lampert／Daniel Pucher／JohannesDostal】

http://cvml.ist.ac.at/AwA2/

日本漫画数据集Manga109

http://dl.acm.org/citation.cfm?doid=3011549.3011551

俯拍舞蹈视频数据集

http://homepages.inf.ed.ac.uk/rbf/CEILIDHDATA/

Pixiv(着色)图片数据集【Jerry Li】

https://github.com/jerryli27/pixiv_dataset

e-VDS视频数据集

https://engineering.purdue.edu/elab/eVDS/#download

Quick, Draw!简笔画涂鸦数据集

https://github.com/googlecreativelab/quickdraw-dataset

简笔画涂鸦数据集【hardmaru】

https://github.com/hardmaru/sketch-rnn-datasets

服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner／Gerard Pons-Moll／Peter V. Gehler】

http://files.is.tue.mpg.de/classner/gp/

COCO像素级标注数据集

https://github.com/nightrome/cocostuff

大规模街道级图片(分割)数据集【Peter Kontschieder】

http://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html

大规模日语图片描述数据集

https://github.com/STAIR-Lab-CIT/STAIR-captions

Cityscapes街景语义分割数据集（50城30类5k细标20k粗标图片及标记视频）

https://github.com/mcordts/cityscapesScripts

(街头)时尚服饰数据集(2000+标注图片)

https://github.com/bearpaw/clothing-co-parsing

PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】

https://github.com/bodokaiser/piwise

Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】

https://www.re-work.co/blog/the-something-something-video-dataset

▍文本／评价／问答／自然语言数据集：

(20万)英文笑话数据集【TaivoPungas】

https://github.com/taivop/joke-dataset

机器学习保险行业问答开放数据集【HainWang】

https://github.com/shuzi/insuranceQA

保险行业问答(QA)数据集【Minwei Feng】

https://github.com/shuzi/insuranceQA

Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】

https://github.com/keunwoochoi/YouTube-music-video-5M

实体/名词语义关系标记数据集【David S. Batista】

https://github.com/davidsbatista/Annotated-Semantic-Relationships-Datasets

NLVR：自然语言基础数据集(对象分组、数量、比较及空间关系推理)

http://lic.nlp.cornell.edu/nlvr/

2.8万文章/10万问题大规模(英语考试)阅读理解数据集

https://github.com/qizhex/RACE_AR_baselines

错误拼写数据集

http://www.dcs.bbk.ac.uk/~ROGER/corpora.html

文本简化数据集

http://www.cs.pomona.edu/~dkauchak/simplification/

英语词/句/语义框架框架标注数据集FrameNet

https://framenet.icsi.berkeley.edu/fndrupal/

(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】

https://github.com/niderhoff/nlp-datasets

跨语种/多样式/多粒度文本相似性检测数据集

https://github.com/FerreroJeremy/Cross-Language-Dataset

Quora数据集：400000行潜在重复问题

http://qim.ec.quoracdn.net/quora_duplicate_questions.tsv

文本分类数据集

http://disi.unitn.it/moschitti/corpora.htm

Frames：Maluuba对话数据集

https://datasets.maluuba.com/Frames/dl

跨域(Amazon商品评论)情感数据集

http://www.cs.jhu.edu/~mdredze/datasets/sentiment/

语义网机器学习系统评价/基准数据集集合

http://dws.informatik.uni-mannheim.de/en/research/a-collection-of-benchmark-datasets-for-ml

▍其它数据集

数据科学/机器学习数据集汇总

https://elitedatascience.com/datasets

CORe50：连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】

https://vlomonaco.github.io/core50/

(Matlab)数据集统计分布自动发现【Isabel Valera】

http://proceedings.mlr.press/v70/valera17a.html

(建筑物)损害评估数据集【tsunami】

https://github.com/faiton713/ABCDdataset

IndieWeb社交图谱数据集【IndieWeb】

http://www.indiemap.org

DeepMind开源环境/数据集/代码集合【DeepMind】

https://deepmind.com/research/open-source/

鸟叫声数据集【xeno-canto】

http://www.xeno-canto.org

Wolfram数据集仓库

https://datarepository.wolframcloud.com

大型音乐分析数据集FMA

https://github.com/mdeff/fma

(300万)Instacart在线杂货购物数据集【Jeremy Stanley】

https://tech.instacart.com/3-million-instacart-orders-open-sourced-d40d29ead6f2

用于欺诈检测的合成财务数据集【TESTIMON】

https://www.kaggle.com/ntnu-testimon/paysim1

NSynth：大规模高质量音符标记音频数据集

https://magenta.tensorflow.org/datasets/nsynth

LIBSVM格式分类/回归/多标签/字符串数据集

https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html

笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】

http://dsnotes.com/post/2017-02-07-large-data-feature-hashing-and-online-learning-part-2/

StackExchange近似/重复问题数据集

http://nlp.cis.unimelb.edu.au/resources/cqadupstack/

2010-2017最全KDD CUP赛题回顾及数据集

http://suo.im/2kRoQ1

食谱数据集：带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】

https://www.kaggle.com/hugodarwood/epirecipes

奥斯卡数据集【Academy of Motion Picture Arts and Sciences】

https://www.kaggle.com/theacademy/academy-awards

计算医疗库：(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】

https://github.com/AKSHAYUBHAT/ComputationalHealthcare

聚类数据集

https://cs.joensuu.fi/sipu/datasets/

官方开放气候数据集

https://pan.baidu.com/s/1i52Xarb

全球恐怖袭击事件数据集【START Consortium】

https://www.kaggle.com/START-UMD/gtd

七个机器学习时序数据集

https://machinelearningmastery.com/time-series-datasets-for-machine-learning/

大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)

http://t.cn/RNMr09n

赛马赔率数据集

http://t.cn/RNf0tXN

新的YELP数据集：包含470万评论和15.6万商家

http://t.cn/RNG6JYi

JMIR数据集专刊《JMIR Data》

http://t.cn/RCIhmvS

用于评价监督机器学习算法的基准数据集

https:// github.com/EpistasisLab/penn-ml-benchmarks

人口普查收入数据集分类

https:// github.com/dformoso/sklearn-classification

日文木版印刷文字识别数据集

http://t.cn/RCZPfYB

多模态二元行为数据集

http://t.cn/RCzFn1g

(TensorFlow)AudioSet音频事件数据集分类模型

GitHub: tensorflow/models/tree/master/audioset

Facebook星际争霸游戏数据集

(TorchCraft可读/365GB/6万多场次/15亿帧画面/近5亿用户操作)

http://t.cn/R9j8AUM

机器学习论文/数据集/工具集锦(日文)

http://t.cn/RKV7x2A

机器学习公司的十大数据搜集策略

http://t.cn/R54rtvd

NLP数据集加载工具集

http://t.cn/RaYwYXl

日语相似词数据集

http://t.cn/RaVFV35

大规模人本完形填空(多选阅读理解)数据集

http://t.cn/Rac2Pey

高质量免费数据集列表

http://t.cn/R6B1aqa

《数据之美》自然语言数据集/代码

http://t.cn/hBOTM4

微软数据集MS MARCO，阅读理解领域的「ImageNet」

http://t.cn/RIMqGBK

AI2科学问答数据集(多选)

http://t.cn/RI5liwJ