[深度学习从入门到女装]Attention U-Net: Learning Where to Look for the Pancreas

最新推荐文章于 2023-06-18 18:53:29 发布
最新推荐文章于 2023-06-18 18:53:29 发布
阅读量5.2k 收藏 19
点赞数 6
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py184473894/article/details/88127343
版权

论文地址：Attention U-Net: Learning Where to Look for the Pancreas

 

这是一篇使用attention模块对U-Net进行改进，从而进行医学图像分割的论文

 

这个attention模块其实给我感觉特别像SENet里边对每个channel进行权重加权的模块，只不过这篇文章是对feature map中每个pixel进行加权，以达到突出显著特征的作用

 

改进后的U-Net如图所示

attention模块用在了skip connection上，原始U-Net只是单纯的把同层的下采样层的特征直接concate到上采样层中，改进后的使用attention模块对下采样层同层和上采样层上一层的特征图进行处理后再和上采样后的特征图进行concate

 

attention模块

F代表哪一层的channel数，通俗来看就是使用下采样层同层的特征图和上采样层上一层的特征图进行一个pixel权重图的构建，然后再把这个权重图对下采样层同层的特征图进行处理，得到进行权重加权的特征图

使用公式来表达就是：

 

下采样层同层的特征图g_{i}(F_{g}\times H_{g} \times W_{g} \times D_{g})，进行1*1*1卷积运算得到W_{g}^{T}g_{i}

上采样层上一层的特征图x_{i}^{l}(F_{l}\times H_{x} \times W_{x} \times D_{x})，进行1*1*1卷积运算得到W_{x}^{T}x_{i}^{l}

将上两步得到的特征图W_{g}^{T}g_{i}和W_{x}^{T}x_{i}^{l}进行相加后在进行ReLu得到\sigma _{1}(W_{x}^{T}x_{i}^l+W_{g}^{T}g_{i}+b_{g})（F_int\times H_{g}W_{g}D_{g}），\sigma _{1}为ReLU激活函数

随后在使用1*1*1卷积运算得到q_{att}^{l}=\psi ^{T}(\sigma _{1}(W_{x}^{T}x_{i}^l+W_{g}^{T}g_{i}+b_{g}))+b_{\psi}

最后对q_{att}^{l}进行sigmoid激活函数得到最终的attention coeffficients（\alpha _{i}^{l}）

 

梯度传导过程如下：

 

炼丹师
关注
专栏目录
Unet改进2：在不同位置添加CBAM注意力机制
m0_51530640的博客
08-24 270
摘要。我们提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。给定一个中间特征映射，我们的模块沿着两个独立的维度依次推断注意力映射，通道和空间，然后将注意力映射乘以输入特征映射以进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，开销可以忽略不计，并且可以与基础CNN一起进行端到端训练。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上进行大量实验来验证我们的CBAM。
深度学习论文: U-Net and its variants for Medical Image Segmentation : A short review
mingo_敏
04-24 2922
深度学习论文: U-Net and its variants for Medical Image Segmentation : A short review U-Net and its variants for Medical Image Segmentation : A short review PDF: https://arxiv.org/pdf/2204.08470v1.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorc
AttentionNet 详解
Kula的博客
03-18 3684
（一）Attention Net（二）多目标任务
Attention U-Net: Learning Where to Look for the Pancreas
moshiyaofei的博客
01-01 1万+
Abstract 我们提出了一种用于医学成像的新型注意门（AG）模型，该模型自动学习聚焦于不同形状和大小的目标结构。用AG训练的模型隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征。这使我们能够消除使用级联卷积神经网络（CNN）的显式外部组织/器官定位模块的必要性。 AG可以很容易地集成到标准CNN架构中，例如U-Net模型，具有最小的计算开销，同时提高模型灵敏度和预测...
论文笔记：Attention U-Net: Learning Where to Look for the Pancreas
新手村打蘑菇
08-14 1340
Abstract 我们提出了一种用于医学成像的新型注意门（AG）模型，该模型自动学习聚焦于不同形状和大小的目标结构。用AG训练的模型隐 含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征。这使我们能够消除使用级联卷积神经网络（CNN）的 显式外部组织/器官定位模块的必要性。 AG可以很容易地集成到标准CNN架构中，例如U-Net模型，具有最小的计算开销，同时提高模型 灵敏度和...
Attention U-Net:Learning Where to Look for the Pancreas论文总结和代码实现
最新发布
qq_45981086的博客
06-18 2500
本文提出了一种用于医学成像的新型注意门（AG）模型，该模型可以自动学习聚焦于不同形状和大小的目标结构。使用AG训练的模型可以不显著地学习输入图像中需要抑制的不相关区域，同时突出对特定任务有用的显著特征。这样就无需再使用级联卷积神经网络（CNNs）的显式外部组织/器官定位模块。AGs可以很容易地集成到标准的CNN架构中，如U-Net模型，只需最少的计算开销，同时提高了模型的灵敏度和预测精度。1. 提出了基于网格的门控，使注意系数更聚焦于局部区域。该方法可以用于密集预测。2. 提出的soft-attention
Attention U-Net:Learning Where to Look for the Pancreas
fujikoo的博客
03-21 2163
论文题目：Attention U-Net:Learning Where to Look for the Pancreas Unet网络可以称得上是医学图像分割领域的开山之作，Attention U-Net是在Unet网络结构的基础上增加了attention 的机制，可以自动学习并聚焦到不同形状和大小的目标结构。这篇文章是发表在CVPR2018的一篇文章。 背景 由于人工密集标记大量医学图像是一项繁琐且容易出错的工作，自动化医学图像分割已经在图像分析社区中得到了广泛的研究。 随着卷积神经网络(CNNs)的出现
Attention U-Net:Learning Where to Look for the Pancreas 阅读记录
SOS团成员A
01-29 568
阅读目的：老师分享 标题：Attention U-Net:Learning Where to Look for the Pancreas（学习在哪里寻找胰腺） 作者团队：Ozan Oktay生物医学图像分析组，帝国理工学院，伦敦，英国伦敦 来源：arXiv 2018 源码链接：https://github.com/ozan-oktay/Attention-Gated-Networks 数据集链接：https://github.com/ozan-oktay/Attention-Gated-Netw.
《深入理解并实现Att U-Net》
qq_34325086的博客
06-19 2808
Introduction 《Attention U-Net: Learning Where to Look for the Pancreas》发表于2018CVPR，相对于定位+分割的级联方式实现的精准语义分割，通过添加attention gate的方式隐式的学习对于胰腺分割重要的特征，省略不重要的特征。 Network Architecture 网络结构类似于U-net，区别是U-net在解码器和编码器同层级只进行拼接操作，此处则加入了attention gate，用于将...
Pytorch复现U-Net, R2U-Net, Attention U-Net, Attention R2U-Net
热门推荐
ghw15221836342的博客
01-19 1万+
Pytorch复现U-Net, R2U-Net, Attention U-Net, Attention R2U-Net 项目地址：pytorch Implementation of U-Net, R2U-Net, Attention U-Net, Attention R2U-Net U-Net, R2U-Net, Attention U-Net, Attention R2U-Net U-Ne...
keras实现U-Net, R2U-Net, Attention U-Net, Attention R2U-Net
qq_43258953的博客
10-13 8160
keras实现U-Net, R2U-Net, Attention U-Net, Attention R2U-Net 代码在github上，，记得给星哦。 我的github地址 一，Unet结构： 优点：结构简单易懂，能在很小的数据集训练并取得不错的解决，用于许多的生物医学的分割。 缺点：网络深度不够，导致在多分类中表现一般。 参考代码： def unet(img_w, img_h, n_label...
Image_Segmentation:U-Net，R2U-Net，Attention U-Net和Attention R2U-Net的Pytorch实施
05-11
pytorch U-Net，R2U-Net，Attention U-Net，Attention R2U-Net的实现 U-Net：用于生物医学图像分割的卷积网络 基于U-Net（R2U-Net）的递归残积卷积神经网络用于医学图像分割 注意U-Net：学习在哪里寻找胰腺 Attention R2U-Net：只需集成两个最新的高级作品（R2U-Net + Attention U-Net） 网络 R2U网 注意U-Net 注意R2U-Net 评估 我们仅使用测试模型。 数据集分为三个子集：训练集，验证集和测试集，其比例分别为整个数据集的70％，10％和20％。 整个数据集包含2594幅图像，其中1815幅图像用于训练，259幅用于验证，520幅用于测试模型。
emr-ner:NER用于中国电子病历。 使用doc2vec，self_attention和multi_attention
04-28
NER for Chinese electronic medical records. Use doc2vec, self_attention and multi_attention. 系统：ubuntu 16.04 server 语言：python3 版本：Anaconda3-5.1.0 框架：Tensorflow-gpu 1.7.0 doc2vec:pip install doc2vec ccks2018 面向中文电子病历的命名实体识别 基于字级BLSTM和CRF的NER模型，一篇病历作为一个批次，批次内按句号进行切分。 1.使用Glove工具对预先准备好的无标注数据进行训练，获取预训练的词嵌入。 2.使用无标注数据构建基于两层LSTM和Softmax的神经语言模型；考虑到单词上文和下文的信息都有效，训练正向和反向两个LM，独立训练参数无关，区别是反向对输入进行翻转。
[论文阅读]Attention U-Net: Learning Where to Look for the Pancreas
gefeng1209的博客
06-21 7295
Attention Gate for Image Analysis 粗粒度的特征映射可以捕获上下文信息，突出显示前景对象的类别和位置 UNet:在多个尺度上提取的特征图随后通过跳过连接进行合并，以结合粗和细级别的密集预测 标准CNN通过不断堆叠卷积层和池化层，使得特征图捕获足够大的感受野和语义上下文信息，然而，仍然难以减少对于形状变化较大的小物体的假阳性预测，为了提高准确性，当前的分割框架...
【论文翻译-3】Attention U-Net: Learning Where to Look for the Pancreas
Feven_H的博客
11-25 3652
Attention U-Net: Learning Where to Look for the Pancreas 阅读日期：2020年11月25日 Abstract 我们提出新型注意力门控（attention gate, AG）模型用于医学成像，它可以自动学习并关注不同形状和大小的目标结构。使用AGs训练的模型能隐式学习抑制输入图像中不相关的区域，同时强调对特定任务有用的显著特征。这使得我们无需使用级联级联卷积神经网络来定位外部组织/器官。AGs能容易集成到标准CNN架构，例如U-Net，并且计算开销
Attention U-Net网络
qq_43293326的博客
04-28 1247
Attention U-Net网络pytorch构建 from torch import nn from torch.nn import functional as F import torch from torchvision import models import torchvision class conv_block(nn.Module): def __init__(self,ch_in,ch_out): super(conv_block,self).__init__(
医学图像分割之Attention U-Net
yjysunshine的博客
05-01 1318
为了捕获到足够大的、可接受的范围和语义上下文信息，在标准的CNN结构中，特征图被逐步下采样，以获得粗粒度的特征图，扩大感受野范围。粗粒度特征图能反应空间信息。虽然粗粒度特征图能在全局尺度上进行模型定位，反应组织间的关系，但是当目标是不同形状的小目标时，减少错正率保持着困难。
Attention U-Net简介及其在Keras
爱CV
05-29 1056
1.什么是注意力（Attention）? 在图像分割中，注意力是一种只突出训练中相关激活的方法。这减少了浪费在无关激活上的计算资源，为网络提供了更好的泛化能力。本质上，网络可以“关注”图像的某些部分。 a)Hard Attention Attention有两种形式，Hard和soft。Hard attention的工作原理是通过裁剪图像或迭代区域建议来突出显示相关区域。由于Hard attention一次只能选择一个图像的一个区域，它是不可微的，需要强化学习来训练。 由于它是不可微分的，这意味着对于
深度学习图像分割方法U-Net改进之Attention U-Net
weixin_63694345的博客
06-10 4684
注意力机制是一种基于权重的模型，其作用是让深度学习模型能够更加集中地关注当前输入数据中最具有代表性和区分性的部分，从而提高模型的分类精度和泛化性能。注意力机制在深度学习中广泛应用于自然语言处理、计算机视觉等领域。例如，在自然语言处理任务中，如机器翻译或文本摘要任务中，注意力机制可以帮助模型专注于输入序列中与预测结果最相关的内容，从而提高模型的翻译或摘要质量。再比如，在图像问答(QA)任务中，注意力机制可以对原始图像像素进行加权，以聚焦于图像中最相关的区域，从而对图片问题作出正确回答。
请给出MIA，MICCAI，MICCAI，NIPS，CVPR，ICLR在2018到2023年的语义分割方面的高亮工作
05-26
2. MICCAI：2019年的MICCAI会议上，一篇名为“Attention U-Net: Learning Where to Look for the Pancreas”的论文提出了一种名为Attention U-Net的方法，用于进行胰腺分割。该方法结合了注意力机制和U-Net结构，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值