Unsupervised Brain Anomaly Detection and Segmentation with Transformers

最新推荐文章于 2022-12-08 18:55:07 发布
最新推荐文章于 2022-12-08 18:55:07 发布
阅读量846 收藏
点赞数
分类专栏： 计算机视觉论文速递 Transformer 医学图像分割 文章标签： 人工智能 机器学习 大数据 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/114049246
版权
本文提出了一种结合VQ-VAE和Performer模型的无监督方法，用于脑异常检测和分割。研究显示这种方法在相对少量数据和低计算成本下，能有效检测和分割异常，且在实际病变上的表现优于现有技术。
摘要由CSDN通过智能技术生成

VQ-VAE + Transformer真香！其中用到了Performer模型，表现SOTA！性能优于AE等网络。

Unsupervised Brain Anomaly Detection and Segmentation with Transformers
在这里插入图片描述

  • 作者单位：伦敦国王学院, 伦敦大学学院

  • 论文下载链接：https://arxiv.org/abs/2102.11650

病理性脑部外观可能如此异质，以致仅可理解为异常，异常是由其偏离正常状态而不是任何特定病理特征定义的。

在医学成像中最艰巨的任务中，检测此类异常需要正常大脑的模型，该模型必须将紧凑性与表征其结构组织的复杂的远程相互作用的表现力相结合。这些需求可以说，与其他当前的候选架构相比，Transformer具有更大的潜力可以满足，但是它们对数据和计算资源的需求却阻碍了它们的应用。

在这里，我们将矢量量化变分自编码器的潜在表示与自回归变换器的集成相结合，以实现在相对适度的数据方案内以低计算成本实现的，与健康的大脑成像数据的偏差所定义的无监督异常检测和分段。在涉及合成和实际病理病变的一系列实验中，我们将我们的方法与当前的最新方法进行了比较。

在这里插入图片描述

实验结果

在实际病变上，我

最低0.47元/天 解锁文章
Amusi（CVer）
关注
专栏目录
基于Transformer的无监督大脑异常检测和分割
阿木寺的博客
02-24 2619
VQ-VAE + Transformer真香！其中用到了Performer模型，表现SOTA！性能优于AE等网络。 Unsupervised Brain Anomaly Detection and Segmentation with Transformers 作者单位：伦敦国王学院, 伦敦大学学院 论文下载链接：https://arxiv.org/abs/2102.11650 病理性脑部外观可能如此异质，以致仅可理解为异常，异常是由其偏离正常状态而不是任何特定病理特征定义的。 在医学成像中最艰
Unsupervised_Anomaly_Detection_Brain_MRI:自动编码器用于脑MR图像中的无监督异常分割
05-23
自动编码器在脑MR图像中的无监督异常分割：比较研究 该存储库包含我们的论文的代码，该论文是。 如果您使用我们的任何代码，请引用： @article{Baur2020, title = {Autoencoders for Unsupervised Anomaly Segmentation in Brain MR Images: A Comparative Study}, author = {Baur, Christoph and Denner, Stefan and Wiestler, Benedikt and Albarqouni, Shadi and Navab, Nassir}, url = {http://arxiv.org/abs/2004.03271}, year = {2020} } @article{baur2021autoencoders, tit
UP-DETR: Unsupervised Pre-training for Object Detection with Transformers
snajdansa的博客
11-03 794
CVPR2021：UP-DETR
Transformer+异常检测论文解读
蓝鲸鱼的博客
06-05 5800
OODformer: Out-Of-Distribution Detection Transformer是2021年12月发表在CVPR上的一篇比较新的OOD的论文。顾名思义，OODformer使用Transformer做异常检测。算法流程图如下： OODformer是一种比较简单的算法，和之前的SSD、CSI等OOD方法的思路接近。OOD的主要步骤都如下：介绍三篇One-CLass+Transformer的算法，采用的基本结构都是encoder-decoder的经典无监督异常检测方法。AnoViT: Un
图像分割4
qq_41815658的博客
05-19 277
Unsupervised Brain Anomaly Detection and Segmentation with Transformers方法 方法 unsupervised anomaly detection and segmentation using transformers 使用transformer实现无监督的一场检测和分割 使用向量量化变分自编码的紧潜在离散表示 ...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
【论文合集】2022年10月医学影像期刊论文合集
sukeee的博客
12-08 3945
本月IEEE Transactions on Medical Imaging(1区 top if 11.037) 共32篇, Medical Image Analysis（1区 top if 13.828） 共30篇.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
(Unsupervised Anomaly Detection)无监督异常检测领域最新研究进展 - Part 0 异常检测简述
要相信光
10-24 2万+
无监督异常检测领域进展研究，包括了概念介绍、常用数据集介绍、方法分类等等。
(Unsupervised Anomaly Detection)无监督异常检测领域最新研究进展 - Part 3 基于嵌入的方法
要相信光
12-08 1万+
文章目录前言1. 基于Deep SVDD1.1 Deep SVDD2. 基于SPADE2.1 SPADE (CVPR2021) 前言 异常检测领域中，基于嵌入的方法指的是：将图像送入模型，提取特征，并在对应的特征空间中学习分界面。与重构方法的主要不同在于，其不在RGB图像空间而是在高维的特征空间中进行异常检测；与自监督的方法不同，不过于依赖额外的负样本的构造 / 代理任务的设计，主要考虑的特征空间中的差异。 1. 基于Deep SVDD 1.1 Deep SVDD 2. 基于SPADE 2.1 SPADE
ECCV2020：论文解读《Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation》
要相信光
07-27 2221
文章目录原文地址论文阅读方法初识（Abstract & Introduction & Conclusion）相知（Body）2. Related Work3. Methodology3.1 General Framework3.2 Failure Detection3.3 Anomaly Segmentation3.4 Analysis4. Experiments4.1 Failure DetectionEvaluation MetricsThe Cityscape Dataset: the
深度学习论文笔记（异常检测）——f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks
菜到怀疑人生的博客
11-03 1万+
文章目录主要工作算法介绍阶段一：训练WGAN阶段二：训练Encoder训练方式一：iziiziizi训练方式二：zizzizziz训练方式三：izifizi_fizif​异常检测实验 主要工作 提出了一种Encoder，可以快速将图片映射到隐空间中的某个点，接着利用WGAN进行异常检测。 在深度学习论文笔记（异常检测）—— Generative Adversarial Networks to Gu...
最新！CVPR 2021 医学图像分割论文大盘点（5篇论文）
阿木寺的博客
07-06 1万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：Amusi | 来源：CVer前言昨天分享了MICCAI 2021上Transformer+医学图像分割的工作...
论文笔记：Attention Guided Anomaly Detection and Localization in Images
hesongzefairy的博客
12-03 2840
Attention Guided Anomaly Detection and Localization in Images 摘要 这篇论文的工作着手解决“异常的检测和定位(Anomaly detection and localization)”问题，这个task的challenge有两点，1.真实场景下异常样本非常少 2.图像中异常位置像素覆盖面积很小。之前的工作need(后面多次提到)训练异...
Deep Learning Based Registration文章阅读(九)《ViT-V-Net: Vision Transformer for Unsupervised Volumetric M》
海绵宝宝强无敌的博客
04-30 1879
Deep Learning Based Registration文章阅读(九) 本次文章是一篇arXiv上的短文《ViT-V-Net: Vision Transformer for Unsupervised Volumetric Medical Image Registration》，首次把Transformer用于3D医学图像配准中。Transformer作为NLP领域目前大放异彩的结构，自2020年10月被首次用到cv分类任务中后，现在在cv各个任务中，包括细粒度分类，目标检测，分割等都取得了比CNN更
解读顶会ICDE’21论文：利用DAEMON算法解决多维时序异常检测问题
华为云官方博客
09-07 1787
摘要：该论文针对多维时序数据的异常检测问题，提出了基于GAN和AutoEncoder的深度神经网络算法，并取得了当前State of the Art (SOTA)的检测效果。论文是云数据库创新LAB在轨迹分析层面取得的关键技术成果之一。
异常检测最新论文列表
Young的博客
12-15 4256
Anomaly detection paper list github Survey Paper Deep Learning for Anomaly Detection: A Survey | [arXiv’ 19] |[pdf] Anomalous Instance Detection in Deep Learning: A Survey | [arXiv’ 20] |[pdf] Deep Learning for Anomaly Detection: A Review | [arXiv’ 20]
论文"Unsupervised Anomaly Detection for Surface Defects with Dual-Siamese Network"中的DFF是怎么实现的，用pytorch实现
最新发布
05-31
以下是使用PyTorch实现DFF的示例代码。这里假设你已经定义了多个卷积神经网络进行特征提取，并且每个网络的输出为一个特征张量。我们将使用全局平均池化层将每个特征张量转换为一个特征向量，然后将这些特征向量拼接在一起，最终使用一个全连接层将全局特征向量映射到一个低维空间。 ```python import torch import torch.nn as nn import torch.nn.functional as F class DFF(nn.Module): def __init__(self, num_networks, input_dim, hidden_dim, output_dim): super(DFF, self).__init__() self.num_networks = num_networks self.input_dim = input_dim self.hidden_dim = hidden_dim self.output_dim = output_dim # 定义卷积神经网络和全局平均池化层 self.networks = nn.ModuleList([nn.Conv2d(in_channels=input_dim[i], out_channels=hidden_dim[i], kernel_size=3, padding=1) for i in range(num_networks)]) self.avg_pool = nn.AdaptiveAvgPool2d((1, 1)) # 全局平均池化层 # 定义全连接层 self.fc = nn.Linear(num_networks * hidden_dim[-1], output_dim) def forward(self, x): # 对每个卷积神经网络进行特征提取并全局平均池化 features = [] for i in range(self.num_networks): f = self.networks[i](x[i]) f = F.relu(f) f = self.avg_pool(f) f = f.view(f.size(0), -1) # 将特征张量转换为特征向量 features.append(f) # 将所有特征向量拼接在一起 global_feature = torch.cat(features, dim=1) # 使用全连接层将全局特征向量映射到一个低维空间 output = self.fc(global_feature) return output ``` 在上面的代码中，我们定义了一个DFF类，其中包含了多个卷积神经网络、全局平均池化层和全连接层。在forward函数中，我们对每个卷积神经网络进行特征提取并全局平均池化，然后将所有特征向量拼接在一起，最终使用全连接层将全局特征向量映射到一个低维空间。 需要注意的是，这里的代码仅供参考，实际实现可能会因为具体的输入数据形状、网络结构等因素而有所不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值