ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

目标跟踪基础与智能前沿

寻找 目标跟踪方向的小伙伴,如果你苦于没有地方可以和同方向的小伙伴交流,我们创建了一个交流群,点上方链接可以进入,每周的交流活动通过该号宣传,群里随时随地可以展开讨论,无论是学术交流,还是环境配置,实验讲解,欢迎加入我们,一起交流进步!
点击上方链接,微信关注回复"数据集",获得目标跟踪几大经典数据集下载链接。


在这里插入图片描述
在这里插入图片描述
跨模态信息 检测 和

在这里插入图片描述

在这里插入图片描述
1、跨模态特征调制问题:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
特征调制, 特征选择,

在这里插入图片描述

CMMS , 调制选择, 跨模态信息融合、优化。

多级串联得到精细预测结果, CMS模块中报刊几个部分,

首先通过跨模态融合 RGB特征,等高级特征后, 通过自适应特征融合, 进行 预测。

attention 预测机制, 进行准确的定位。

在这里插入图片描述
RGBD , D 是增强。

对RGB特征进行

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如何从海量数据中选择?

空间信息、通道信息的转折、 通道信息的选择。

一开始输入的特征有很多莫泰, 在传统方法中, 通道选择采用通道Attention的趋势。

建模输入特征,单一模态的关系。

通道选择的过程,可以建模不同跨模态信息的相关性

SE-Net , 获得attention 。 然后获得依赖关系的提取。

除了选择有利通道,还需要保持空间特征中的有效信息: 门控注意力引导多模态信息融合过程。

像素级权重。

在这里插入图片描述

在这里插入图片描述
位置attention

在这里插入图片描述
边缘预测过程, 显著性边缘图。

生成 , 作为A头疼提on特征, 关注显著性目标位置。 生成显著性边缘, 得到选择性预测, 经过显著性预测。

选择之后AFS

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

检测

Ablation

在这里插入图片描述
深度相机采集的数据为主。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值