加入动态MLP,并且结合了时空信息的多模态细粒度分类

本文介绍了一种利用地理和时间信息的动态MLP方法,应用于细粒度图像分类,在iNaturalist挑战中取得第三名。作者对比了现有工作,提出动态MLP框架,通过动态投影融合图像和多模态特征,实现增强表示。文章还探讨了动态MLP的变体及其实验效果。
摘要由CSDN通过智能技术生成

Dynamic MLP for Fine-Grained Image Classification by Leveraging Geographical and Temporal Information

CVPR2022的一篇文章。这篇主要是做细粒度分类,最大的创新点是引入了动态MLP。

在 iNaturalist challenge at FGVC8 获得了第三名。

代码:https://github.com/ylingfeng/DynamicMLP

一、作者先总结了细粒度方法目前的几个方向

1.专注于图像的判别区域。

2.多分支学习。

3.特定的数据增强。

4.引入额外的信息。比如图片拍摄的地理和时间信息。

二、现有工作与作者提出的动态MLP的比较

绿色和蓝色的矩形分别表示图像特征和多模态的特点。
(a) 仅有图像。仅基于图像获得预测[12, 18, 26]。
(b) 通道串联。把图像特征与多模态特征在通道上连接起来[29, 35, 37, 38]。
(c) 加法。把图像的最后一层的预测值和其他信息的最后一层的预测值相加[8]。
(d) 乘法。将两个预测值相乘[28, 38]。
(e) 动态 MLP:特征通过动态MLP进行融合。

三、框架

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值