人工智能(AI)类似于建造一艘火箭飞船,需要一个巨大的引擎和大量的燃料。火箭引擎是深度学习模型,燃料是我们可以为这些算法提供的大量数据。
-------Andrew Ng
数据是一切算法应用的基础,无论是监督学习需要标注好的数据进行训练,还是无监督学习需要对数据进行分析、考量,数据都是不可或缺的。一个任务或一项工程的大力度推进或发展离不开公开数据集的构建,重复
的进行数据采集、标注是耗费人力和物力的,并且同一任务在不同数据集上的比较也是毫无意义的,所以公开数据集是十分重要的基础架构。在工程应用上,如果能找到与业务场景相关的公开数据,那无疑是十分开心的一件事情。
除了一些著名的数据集,图像公开数据集汇总这个网站提供了大量的图片数据集的汇总介绍,包括多个任务方面,分类、检测、分割、检索等。
下面是总结的一些图像检索可用的公开数据集,会以内容为分(持续更新):
地标建筑
名称 | 时间 | 规模 | 收集方式 | 规模 | 特点 | 论文 |
---|---|---|---|---|---|---|
Oxford5K | 2007 | 牛津大学建筑 | 通过关键字在Flickr上查询下载图片 每一个query对应good、ok、junk list文件,作为ground truth | total:5062 query: 55 (11*5) | 除提供.jpg格式图片外,还提供sift描述符的压缩二进制文件等 | Object retrieval with large vocabularies and fast spatial matching(cvpr2007) |
Paris6k | 2008 | 巴黎地标 | 与Oxford5K相同(查询关键字不同) | total:6412 query: 55(11*5) | 仅提供.jpg格式图片 | Lost in Quantization: Improving Particular Object Retrieval in Large Scale Image Databases(cvpr2008) |
Revisiting Oxford | 2018 | 牛津大学建筑 | 基于Oxford5k | query 50->70 | 修复原来数据标注问题 增加数据 标签细化 | Revisiting Oxford and Paris: Large-Scale Image Retrieval Benchmarking(CVPR2018) |
Revisiting Paris | 2018 | 巴黎地标 | 基于Paris6K | query 50->70 | 修复原来数据标注问题 增加数据 标签细化 | Revisiting Oxford and Paris: Large-Scale Image Retrieval Benchmarking(CVPR2018) |
Google landmarks | 2017 | 地标数据 | - | total:200万张图片 3万个独特地标 | kaggle 比赛 | Large-Scale Image Retrieval with Attentive Deep Local Features( ICCV’17) |
Google landmarks-v2 | 2019 | 地标数据 | 摄影社区众包进行实例标注 | total:超过500万张图像 超过20万个不同的地标 | kaggle 比赛 | Detect-to-Retrieve: Efficient Regional Aggregation for Image Search (CVPR’19) |
Landmark 3D | 2012 | 地标数据 | web 图片和3D模型(点云) | total:45180 | 25个地标 ;45,180个数据库图像(每个地标1.4K2K);10,000个正面query用于评估(每个标志400个);3D模型中约270万个3D点(每个地标29K223K); 约有5800万个SIFT | 3D Visual Phrases for Landmark Recognition". in Proc. of the 25th IEEE Conference on Computer Vision and Pattern Recognition (CVPR2012) |
Paris500k | 2013 | 地标建筑 | 数据集是从Flickr和Panoramio收集的地标图像。图像具有“自然”分布,数据集非常具有挑战性,因为存在重复和近似重复,以及大量不相关的图像,例如派对,宠物等的照片 | total:501,356 | 提供79个地标建筑的94303张图片clustering ground truth | Discovering Details and Scene Structure with Hierarchical Iconoid Shift(ICCV2013) |
ZuBuD/ZuBuD+ | 2003/2017 | 建筑 | ZuBuD+ 是对ZuBuD的扩展,主要是增加了测试图片 评估方式:TOP5 | total:1005 training data/1005 test_balance data | 每个图像有201个建筑物,每个视图有五个视图,提供训练数据、相同数量的测试数据、ground truth file 和 用于评估的python程序 | A location-aware embedding technique for accurate landmark recognition(2017) |