公开的海量数据集 Public Research-Quality Datasets

原创 2016年06月02日 05:35:49

转自:原文

海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。


相应之下,目前对于海量数据处理人才的需求也在不断增多,此类人才可谓炙手可热!越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到,或者有机会去处理海量数据的,所以就需要一些公开的海量数据集来研究。

在Quora上有人就问到,如何获取海量数据集。此问题得到了很多人的关注。具体可以看看回答,数据集的种类多种多样,有化学分析,基因遗传等等,从中你肯定能得到自己想要个数据集。
Where can I get large datasets open to the public?

首先说说几个收集数据集的网站:
1、Public Data Sets on Amazon Web Services (AWS)
http://aws.amazon.com/datasets
Amazon从2008年开始就为开发者提供几十TB的开发数据。

2、Yahoo! Webscope
http://webscope.sandbox.yahoo.com/index.php

3、Konect is a collection of network datasets
http://konect.uni-koblenz.de/

4、Stanford Large Network Dataset Collection
http://snap.stanford.edu/data/index.html

再就是说说几个跟互联网有关的数据集:
1、Dataset for "Statistics and Social Network of YouTube Videos"
http://netsg.cs.sfu.ca/youtubedata/

2、1998 World Cup Web Site Access Logs
http://ita.ee.lbl.gov/html/contrib/WorldCup.html
这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中,发生了 1,352,804,107次请求。

3、Page view statistics for Wikimedia projects
http://dammit.lt/wikistats/

4、AOL Search Query Logs - RP
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs

5、livedoor gourmet
http://blog.livedoor.jp/techblog/archives/65836960.html

海量图像数据集:
1、ImageNet
http://www.image-net.org/
包含1400万的图像。

2、Tiny Images Dataset
http://horatio.cs.nyu.edu/mit/tiny/data/index.html
包含8000万的32x32图像。

3、 MirFlickr1M
http://press.liacs.nl/mirflickr/
Flickr中的100万的图像集。

4、 CoPhIR
http://cophir.isti.cnr.it/whatis.html
Flickr中的1亿600万的图像

5、SBU captioned photo dataset
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/
Flickr中的100万的图像集。

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011)
http://cpl.cc.gatech.edu/projects/VisualSynset/
包含2亿图像

7、NUS-WIDE
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm
Flickr中的27万的图像集。

8、SUN dataset
http://people.csail.mit.edu/jxiao/SUN/
包含13万的图像

9、MSRA-MM
http://research.microsoft.com/en-us/projects/msrammdata/
包含100万的图像,23000视频

10、TRECVID
http://trecvid.nist.gov/

Stack Overflow Dump Files
7.3G stackoverflow.com-Posts.7z
573.1K stackoverflow.com-Tags.7z
153.0M stackoverflow.com-Users.7z
2.2G stackoverflow.com-Comments.7z

截止目前好像还没有国内的企业或者组织开放自己的数据集。希望也能有企业开发自己的数据集给研究人员使用,从而推动海量数据处理在国内的发展!

2014/07/07 雅虎发布超大Flickr数据集 1亿的图片+视频
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for

100多个有趣的数据集
http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics

stackoverflow数据下载

stackoverflow数据下载地址:
  • LIHUINIHAO
  • LIHUINIHAO
  • 2014年08月21日 16:30
  • 2256

社区发现数据集

社区发现数据集目录社区发现数据集目录 基于链接分析的数据集 基于链接与离散型属性的数据集 基于链接与文本型属性的数据集 其他常见的数据集链接基于链接分析的数据集 Zachary karate club...
  • wzgang123
  • wzgang123
  • 2016年04月07日 23:09
  • 7720

人工智能大数据,公开的海量数据集下载,ImageNet数据集下载,数据挖掘机器学习数据集下载

人工智能大数据,公开的海量数据集下载,ImageNet数据集下载,数据挖掘机器学习数据集下载 ImageNet挑战赛中超越人类的计算机视觉系统 微软亚洲研究院视觉计算组基于深度卷积神经网络(CNN...
  • ytusdc
  • ytusdc
  • 2017年12月22日 20:57
  • 937

免费数据集整理

Wikipedia:Database :向感兴趣的用户提供所有可用的内容的免费副本。可以得到多种语言的数据。内容连同图片可以下载。 Common crawl 建立并维护一个所有人都可以访问的开放的网...
  • u010138055
  • u010138055
  • 2017年09月13日 13:50
  • 636

数据集

数据集 大数据 https://delicious.com/pskomoroch/dataset  http://stackoverflow.com/questions/10843892/dow...
  • guoxinian
  • guoxinian
  • 2016年01月07日 13:05
  • 2152

机器学习数据集

数据集下载地址:http://archive.ics.uci.edu/ml/ Iris 也称鸢尾花数据集,一种多重变量分析的数据集。通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花属于(S...
  • u013593585
  • u013593585
  • 2016年04月20日 09:51
  • 1092

Kaggle研究16,000+数据科学从业者并公开数据 !(附数据集下载)

来源:机器之心 本文长度为2540字,建议阅读5分钟 本文整理Kaggle对人工智能领域超过16,000受调查者的调查数据结果。 Kaggle 是互联网上最著名的数据科学竞赛平台...
  • eNohtZvQiJxo00aTz3y8
  • eNohtZvQiJxo00aTz3y8
  • 2017年11月01日 00:00
  • 199

未公开的Oracle数据库秘密(大师秘笈助你内外兼修)--源代码

  • 2013年02月03日 13:00
  • 2.36MB
  • 下载

100款机器学习数据集

Kaggle 书籍推荐数据集(goodreads/上万图书/百万评价)【Kaggle】 https://www.kaggle.com/zygmunt/goodbooks-10k...
  • Touch_Dream
  • Touch_Dream
  • 2017年09月05日 08:23
  • 1427

数据集

最流行的4个机器学习数据集 字数887 阅读12333 评论5 喜欢28 机器学习算法需要作用于数据,而数据的本质则决定了应用的机器学习算法是否合适,而数据的质量也会决定算法表现的好坏...
  • shazao
  • shazao
  • 2016年12月10日 16:03
  • 915
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:公开的海量数据集 Public Research-Quality Datasets
举报原因:
原因补充:

(最多只允许输入30个字)