Content-based image retrieval with compact deep convolutional features

本文提出了一种新的双线性卷积神经网络架构,用于内容为基础的图像检索。该模型包含两个并行的CNN特征提取器,使用双线性根池化降低特征维度,提高检索效率。在Oxford 5K和Oxford 105K数据集上,模型展示了优秀的性能,同时降低了特征提取的时间和空间成本。
摘要由CSDN通过智能技术生成

摘要

现有的基于内容的检索过程中,大部分模型通常使用单一的CNN架构来提取特征,这样就对识别图像局部特征所有限制。首先,本文中提出一种新型的双线性的CNN架构,使用两个并行的CNN作为特征提取器。卷积层直接用于提取不同位置和不同尺度的特征(先pre-trained,后fine-tuned)。此外,提出一种有效的双线性根池化(bilinear root pooling)应用到低维池化层从而减少特征维度,同时保持对于图像特征的识别力。最后,进行端到端反向传播训练进行微调,并学习其参数以完成图像检索任务。基于三个标准数据集上的实验结果表现出来良好的性能。例如基于16位在Oxford 5K达到95.7% ( mAP) ,在 Oxford 105K达到88.6%,此外降低了特征提取的时间和空间代价。

本文的思路和主要贡献

此前的工作主要存在的问题包括:(1)CNN模型微调的有效性,比如说图像分类迁移到图像检索中;(2)相比VLAD特征,基于BOF和Fisher vector这两种聚合local特征,从而提出了VLAD特征(vector of locally aggregated descriptors,TPAMI 2012),直接通过CNN提取特征的有效性;(3)现有的CNN架构产生了不利于图像表示的高维特征;(4)查询处理、相似性/不相似性匹配以及检索的时间和空间性能如何有效的链接在一起。

基于上述问题,本文主要采用两个并行的CNN来进行特征提取,仅仅基于语义内容并没有先验知识(标签、标注等),通过对于基于图像特征和

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值