关闭

公开的海量数据集 Public Research-Quality Datasets

402人阅读 评论(0) 收藏 举报

http://rensanning.iteye.com/blog/1601663

海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。 


相应之下,目前对于海量数据处理人才的需求也在不断增多,此类人才可谓炙手可热!越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到,或者有机会去处理海量数据的,所以就需要一些公开的海量数据集来研究。 

在Quora上有人就问到,如何获取海量数据集。此问题得到了很多人的关注。具体可以看看回答,数据集的种类多种多样,有化学分析,基因遗传等等,从中你肯定能得到自己想要个数据集。 
Where can I get large datasets open to the public? 

首先说说几个收集数据集的网站: 
1、Public Data Sets on Amazon Web Services (AWS) 
http://aws.amazon.com/datasets 
Amazon从2008年开始就为开发者提供几十TB的开发数据。 

2、Yahoo! Webscope 
http://webscope.sandbox.yahoo.com/index.php 

3、Konect is a collection of network datasets 
http://konect.uni-koblenz.de/ 

4、Stanford Large Network Dataset Collection 
http://snap.stanford.edu/data/index.html 

再就是说说几个跟互联网有关的数据集: 
1、Dataset for "Statistics and Social Network of YouTube Videos" 
http://netsg.cs.sfu.ca/youtubedata/ 

2、1998 World Cup Web Site Access Logs 
http://ita.ee.lbl.gov/html/contrib/WorldCup.html 
这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中,发生了 1,352,804,107次请求。 

3、Page view statistics for Wikimedia projects 
http://dammit.lt/wikistats/ 

4、AOL Search Query Logs - RP 
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs 

5、livedoor gourmet 
http://blog.livedoor.jp/techblog/archives/65836960.html 

海量图像数据集: 
1、ImageNet 
http://www.image-net.org/ 
包含1400万的图像。 

2、Tiny Images Dataset 
http://horatio.cs.nyu.edu/mit/tiny/data/index.html 
包含8000万的32x32图像。 

3、 MirFlickr1M 
http://press.liacs.nl/mirflickr/ 
Flickr中的100万的图像集。 

4、 CoPhIR 
http://cophir.isti.cnr.it/whatis.html 
Flickr中的1亿600万的图像 

5、SBU captioned photo dataset 
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/ 
Flickr中的100万的图像集。 

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011) 
http://cpl.cc.gatech.edu/projects/VisualSynset/ 
包含2亿图像 

7、NUS-WIDE 
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm 
Flickr中的27万的图像集。 

8、SUN dataset 
http://people.csail.mit.edu/jxiao/SUN/ 
包含13万的图像 

9、MSRA-MM 
http://research.microsoft.com/en-us/projects/msrammdata/ 
包含100万的图像,23000视频 

10、TRECVID 
http://trecvid.nist.gov/ 

Stack Overflow Dump Files 
7.3G stackoverflow.com-Posts.7z 
573.1K stackoverflow.com-Tags.7z 
153.0M stackoverflow.com-Users.7z 
2.2G stackoverflow.com-Comments.7z 

截止目前好像还没有国内的企业或者组织开放自己的数据集。希望也能有企业开发自己的数据集给研究人员使用,从而推动海量数据处理在国内的发展! 

2014/07/07 雅虎发布超大Flickr数据集 1亿的图片+视频 
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for 

100多个有趣的数据集 
http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics
0
0
查看评论

公开的海量数据集 Public Research-Quality Datasets

海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。  相应之下,目前对于海量数据处理人才的需求也在不断增多,...
  • Alpine_Climbing
  • Alpine_Climbing
  • 2015-12-16 00:46
  • 258

【推荐】公共领域高质量公开数据集列表

https://github.com/caesar0301/awesome-public-datasets
  • u012556077
  • u012556077
  • 2016-02-02 23:16
  • 498

海量公开数据集

海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。 相应之下,目前对于海量数据处理人才的需求也在不断增多,此类人才可谓炙手...
  • TheSnowBoy_2
  • TheSnowBoy_2
  • 2016-11-17 20:31
  • 593

公开数据集整理

公开数据集
  • somTian
  • somTian
  • 2016-08-02 09:56
  • 1720

【神经网络与深度学习】公开的海量数据集

海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。  相应之下,目前对于海量数据处理人才的需求也在不断增多,...
  • LG1259156776
  • LG1259156776
  • 2016-09-19 09:56
  • 1772

Mini-batching

Mini-batching 在这一节,你将了解什么是 mini-batching,以及如何在 TensorFlow 里应用它。 Mini-batching是一个一次训练数据集的一小部分,而不是整个训练集的技术。它可以是的内存较小,不能同时训练整个数据集的电脑也可以训练模型。 Min...
  • sinat_32547403
  • sinat_32547403
  • 2017-07-05 21:43
  • 329

数据挖掘-公开数据集的合集

AWS (Amazon Web Server) Public datasets 亚马逊公用数据集 :过去,查找、下载、自定义和分析卫星图像或基因组数据等大型数据集需要几个小时或几天的时间。当数据在 AWS 上公开提供后,任何人都可以分析任意数量的数据,而无需自行下载或存储这些数据。包括:地理空间和环...
  • sriting
  • sriting
  • 2017-07-29 02:37
  • 525

机器学习公开数据集

原文地址:http://rensanning.iteye.com/blog/1601663 海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处...
  • u012123197
  • u012123197
  • 2018-01-31 17:52
  • 48

各领域公开数据集下载 | 资源

本文整理了一些网上的免费数据集,分类下载地址如下,希望能节约大家找数据的时间。这篇文章涵盖以下10个领域的数据集下载资源: 金融 交通 商业 推荐系统 医疗健康 图像数据 视频数据 音频数据 自然语言处理 社会数据 处理后的科研和竞赛数据 1 金融 美国劳工部统计局官方发布数据:http://d...
  • marleylee
  • marleylee
  • 2017-08-02 18:48
  • 3903

FaceDataset常用的人脸数据库

公开人脸数据集 本页面收集到目前为止可以下载到的人脸数据库,可用于训练人脸深度学习模型。 人脸识别 数据库 描述 用途 获取方法 WebFace 10k+人,约500K张图片 非限制场景 链接 FaceScrub 530人,约100k张图片 非限制场景 链接 YouTube F...
  • haoji007
  • haoji007
  • 2016-10-11 16:08
  • 5580
    个人资料
    • 访问:258140次
    • 积分:2605
    • 等级:
    • 排名:第16575名
    • 原创:16篇
    • 转载:123篇
    • 译文:0篇
    • 评论:67条
    最新评论