从rookie到基佬~008:Transformer

一天一个变弯小技巧

今日份洗脑:Transformer CV计算机视觉 语义分割

结论:TransFuse、TransUNet、SETR

一、TransFuse

论文链接:https://arxiv.org/abs/2102.08005
在这里插入图片描述
在本文中,我们研究了更具挑战性的问题,即在不损失low-level细节的定位能力的情况下提高全局上下文建模效率的问题。提出了一种新颖的两分支架构TransFuse,该架构以并行方式结合了Transformers和CNN。使用TransFuse,可以以较浅的方式有效地捕获全局依赖性和low-level空间细节。
此外,提出了一种
新颖的融合技术-BiFusion模块,用于融合每个分支的多级特征。

二、TransUNet

论文链接:https://arxiv.org/abs/2102.04306
GitHub链接:https://github.com/Beckschen/TransUNet

在这里插入图片描述
一方面,Transformer将来自卷积神经网络(CNN)特征图的标记化图像块编码为提取全局上下文的输入序列。另一方面,解码器对编码的特征进行上采样,然后将其与高分辨率的CNN特征图组合以实现精确的定位。
我们认为,借助U-Net的组合,通过恢复局部的空间信息,可以将Transformers用作医学图像分割任务的强大编码器。

SETR

论文链接:https://arxiv.org/abs/2012.15840
GitHub链接:https://github.com/fudan-zvg/SETR

在这里插入图片描述
在本文中,我们旨在通过将语义分割视为序列到序列的预测任务来提供替代视角。具体来说,我们部署一个纯 transformer(即,不进行卷积和分辨率降低)将图像编码为一系列patch。通过在 transformer的每一层中建模全局上下文,此编码器可以与简单的解码器组合以提供功能强大的分割模型,称为SEgmentation TRansformer(SETR)。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清远隽永

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值