2021-07-23

关于每日的工作总结,出于方便,我先在CSDN上发布,等之后我的个人技术博客搭建更完善,更方便之后,我再搬运到个人博客上。
2021.07.23
最近在zju实习,我们要做的是医学图像的多模态目标检测的任务。
目前的计划是:

  • 该任务的相关论文调研(Tencent Jarivis lab)
  • 先看一些关于目标检测的论文(fast rcnn, faster rcnn,Fcos,RetinaNet,ATSS)
  • 然后是多模态目标检测的论文

目前阅读目标检测的论文出于学习目的,要求看比较细致一些,包括源码。dataloader如何设置,等等。
多模态的论文,要关注它的feature map是如何融合的,和我们的任务之间的区别是什么,创新点。

目标检测论文,已经读完了,一直没写笔记是因为之后如果用到的话,感觉还是看原论文会更清楚,准确一些。如果之后有空的话,再总结一下每篇的创新思路和可以应用的技术重点。

今天主要阅读一些多模态的论文。

Context-Aware Inductive Bias Learning for Vessel Border Detection in Multi-modal Intracoronary Imaging

任务是分别在
血管内超声(IVUS)上识别管腔边界和中外膜边界,光学相干断层扫描(OCT)上识别管腔边界。
即最后需要在两张图片上进行完成分割任务。

切入点是:不同的分割任务之间从医学上解释时,具有一些共同的判断指标(共享一些高级语义信息)
所以多模态体现在 高级语义信息的融合。

本文方法主要解决的问题和优势
其网络结构如下所示:
在这里插入图片描述
几个重要的模块:

  • Cross-Task Feature Fusion
    融合的是high-level feature maps.(语义信息)
    通过 auto-encoder模块(6 个卷积层)实现。
    网络可以学习到多样但是相关的feature representation
  • Cross-Level Feature Fusion
    通过辅助监督和PDDC模块,增加low-level features中的高级语义信息。
    通过级联操作可以增加high-level features中的详细信息,提高准确率.
    PDDC模块
    为了提取出size-varied regions的语义信息并且保留boundary-detailed info
    PDDC模块采用了:
    1.使用空洞卷积的金字塔结构 扩大感受野
    2.采用Dense-connection 可以尽可能多的保留高分辨率语义信息。

Borrow from Anywhere: Pseudo Multi-modal Object Detection in Thermal Imagery

任务是 需要在热图(thermal image)上完成目标检测任务.
本文提出了一种“pseuado-multimodal" object detector,在已有的thermal image上利用I2I生成器构造一个配对的RGB-image,同时在RGB-image 和 theremal image上进行目标检测。
其网络结构图如下图所示

在这里插入图片描述

这里I2I生成器采用CycleGAN 和 UINT,把Theremal image 作为源域,RGB image作为目标域。
顺便补充以下CycleGAT 和 UINT相关知识点
CycleGAN
UINT:在CycleGAN上引入注意力机制,使得网络更关注物体本身
训练算法伪代码如下图所示
在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值