DSFormer: A Dual-domain Self-supervised Transformer for acc Multi-contrast MRI Re---文章阅读记录

最新推荐文章于 2024-05-30 17:13:09 发布
最新推荐文章于 2024-05-30 17:13:09 发布
阅读量340 收藏
点赞数
分类专栏： MRI重建 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Perfect_Bin/article/details/129344266
版权

目录

文章地址

创新点

优缺点

文章架构

实验细节

实验结果

消融实验 

文章地址

paper：WACV 2023 Open Access Repository (thecvf.com)

创新点

1、多对比度信息共享

与以往的初始零填充混叠图像重建不同，作者将不同于重建加权方式的全采样的k空间嫁接到欠采样的为获取的k空间部分，给重建网络提供一个去混叠和正确解剖结构的起点。此后，作者还将参考的图像与输入图像concat进入图像重建网络。

2、对于MRI重建的vision transformer

提出了一种高保真MRI重建的Deep Conditional Cascade Transformer，开发了一种基于Swin transformer的SwinRN重建网络，用于DCCT的骨干。

3、双域自监督学习

使用图像域和k空间域的自监督学习，兼顾图像域和k空间域的损失回传。

优缺点

优点：多对比度MRI图像具有相同的解剖结构，这样间隙填充对比零填充可以有正确的解剖结构、更少的伪影，作为网络重建的输入，可以使网络更专注于对比度转换而不是消除锯齿伪影。

缺点：需要已知指导图像全采样数据。

文章架构

the Dual-domain Self-supervised TransFormer (DSFormer)

一、Deep Conditional Cascade Transformer

1.Deep MC-MRI Conditioning：

对于MC-MRI Conditioning，作者使用了两个调节方法：KF（间隙填充）和CC（通道合并）。

对于KF，虽然多对比MRI描绘成像组织的不同生理特性，导致图像各部分对比度不同，但多对比度MRI图像具有相同的解剖结构。这样间隙填充对比零填充可以有正确的解剖结构、更少的伪影，作为网络重建的输入，可以使网络更专注于对比度转换而不是消除锯齿伪影等。作者列出了一个具体的例子如图下所示（左一为PD加权全采样参考图像，左二为T2加权零填充图像，左三为T2加权参考图像间隙填充图像，左四为T2加权全采样图像）：

 

对于CC，作者将参考图像和间隙填充后的图像通道合并，作为SwinRN的输入。

对于KF和CC 两种调节方法的重要性，后续消融实验给出结论。

2.Swin Transformer Reconstruction Network

Swin Transformer Reconstruction Network (SwinRN)

 

SwinRN作为DCCT的主架构，该网络的流程图可以用以下公式代表:

F_{0} = P_{IFE}(Xinit|Xref )

F_{n} = P_{SwinTBn}(F_{n-1})

F_{DF E} = P_{DF E}(F_{n})

X_{output} = P_{IR} (F_{DFE} + F_{IFE})

其中，PIFE,PDFE,PIR为3x3卷积。后续Swin Transformer架构部分不在此做过多描述。

二、Dual-Domain Self-Supervised Learning

为了以自监督方式训练DCCT，作者使用了图像域和k空间域双域的自监督模式。在training中，欠采样的ytag经过两个互不重叠的M1和M2两个mask（M1+M2=Mtag，Mtag是欠采样的mask）得到yp1和yp2两路并行的初始。（训练时，M1 M2在[0.2，0.8]之间）

y_{p1} = y_{tag}\odot M_{1}

y_{p2} = y_{tag}\odot M_{2}

后经过DCCT后产生Xp1和Xp2，

X_{p1} = f_{dcct}(y_{p1},y_{ref})

X_{p2} = f_{dcct}(y_{p2},y_{ref})

此时Xp1与Xp2之间做外观一致性loss，经FFT后交叉使用M1或M2后，回传产生频率域数据一致性loss。双域loss分配权重后相加得到该自监督网络的损失函数。

外观一致性损失（v，h分别为垂直和水平梯度运算符）：

\mathcal {L}_{AC} = \lambda _{1} \mathcal {L}_{img} + \lambda _{2} \mathcal {L}_{grad}

\mathcal {L}_{img} = ||X_{p_1} - X_{p_2}||_1

\mathcal {L}_{grad} = ||\nabla _v X_{p_1} - \nabla _v X_{p_2}||_1 + ||\nabla _h X_{p_1} - \nabla _h X_{p_2}||_1

数据一致性损失：

y_{2 \rightarrow 1} = \mathcal {F} (X_{p_2}) \odot M_1

y_{1 \rightarrow 2} = \mathcal {F} (X_{p_1}) \odot M_2

\mathcal {L}_{PDC} = ||y_{2 \rightarrow 1} - y_{p_1}||_1 + ||y_{1 \rightarrow 2} - y_{p_2}||_1

\mathcal {L}_{tot} = \mathcal {L}_{AC} + \lambda _{3} \mathcal {L}_{PDC}

其中，\lambda 1=1,\lambda 2=0.1,\lambda 3=0.1。

实验细节

数据集：IXI的T2加权与PD加权磁共振图像。共11808张，8376张用于训练，1080张用于验证，2352张用于测试。https://brain-development.org/ixi-dataset/, CC BY-SA 3.0 license

显卡: NVIDIA Quadro RTX 8000 GPU with 48GB memory

学习率：0.0004

batach_size：3

Number（SwinRN，SwinTB，SwinTL）  =  3，4，4

实验结果

下图中，粗体方法为监督训练，下划线方法为自监督训练。

 Target:T2w I Reference:PD   代表T2加权为欠采样图像，PD加权为参考图像进行训练以及测试。

消融实验 

一、双域自监督

 二、深度MC-MRI调节及 监督DAFormer vs. 自监督DAFormer

 三、级联SwinRN数量的影响

--------------------------------------------------------------------------------------------

本文章作者未公布源码。

如有理解错误之处欢迎指正。

Perfect_Bin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
牛亚男：基于多Domain多任务学习框架和Transformer，搭建快精排模型
DataFun_Hoh的博客
06-18 495
导读： 本文主要介绍了快手的精排模型实践，包括快手的推荐系统，以及结合快手业务展开的各种模型实战和探索，全文围绕以下几大方面展开： 快手推荐系统 CTR模型——PPNet 多domain多任务学习框架 短期行为序列建模 长期行为序列建模 千亿特征，万亿参数模型 总结和展望 -- 01 快手推荐系统 快手的推荐系统类似于一个信息检索范式，只不过没有用户显示query。结构为数据漏斗，候选集有百亿量级的短视频，在召回层，会召回万级的视频给粗排打分，再选取数百个短视频，给精排模型打分，最后会有数十个短视频..
论文阅读：DSformer:A Double Sampling Transformer for Multivariate Time Series Long-term Prediction
m0_51312071的博客
12-18 623
多变量长期预测任务旨在预测未来较长一段时间的数据的变化，从而为决策提供参考。当前模型对时间序列的以下三个特征利用还不充分：全局信息、局部信息、变量相关性。由此文章提出DSformer(double sampling transformer)模型，该模型包含了double sampling(DS) block和 temporal variable attentioon(TVA) block。
DAFormer：高级3D建筑设计的新范式
gitblog_00080的博客
04-20 271
DAFormer：高级3D建筑设计的新范式 项目地址:https://gitcode.com/lhoyer/DAFormer 项目简介 DAFormer 是一个创新的开源项目，由开发者 lhoyer 创建，旨在利用机器学习的力量推进3D建筑模型的生成。该项目基于Transformer架构，提供了一种自动化的方式，帮助设计师和工程师快速生成复杂且具有设计感的三维建筑结构。 技术分析 DAFormer...
GMSS: Graph-Based Multi-Task Self-Supervised Learning for EEG Emotion Recognition
qq_41191024的博客
05-24 1354
提出的方法：一个基于图的多任务自监督模型 对比方法：RGNN、BiHDM、A-LSTM、BiDANN、DANN、DGCNN、SeqCLR、SSL-EEG 实验使用数据集：SEED，SEED-IV，MPED 官方代码:https://github.com/CHEN-XDU/GMSS 注：第一篇在EEG情绪识别领域采用多任务自监督方法来改善模型泛化能力并避免过拟合的工作 问题 之前的基于EEG的情绪识别都是单任务学习，这会导致过拟合且学到的情绪特征缺乏泛化能力 多数基于EEG的情绪识别方法基本
ICLR2022《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》
weixin_43994864的博客
03-07 1937
论文链接：https://arxiv.org/pdf/2109.06165.pdf 代码链接：https://github.com/CDTrans/CDTrans 1. 动机 无监督域适应(Unsupervised domain adaptive, UDA)是一种将知识从有标记的源域转移到不同的无标记目标域的方法。现有的UDA方法大多集中于学习领域不变的特征表示，无论是从领域级别还是类别级别，使用基于卷积神经网络(CNNs)的框架。基于类别级别的UDA的一个基本问题是目标域中的样本会产生伪标签，这些伪标签.
【CVPR 2021】Unsupervised Multi-Source Domain Adaptation for Person Re-Identification (UMSDA)
Joselynzhao
10-21 2053
方法概述 1，文章将多源概念引入到了无监督域适应行人重识别当中。 2，文章提出了一种修订域特定批归一化模块(RDSBN), 可以同时减少域特定信息和增加人物特征的可区别性。 3，我们基于多域信息融合（MDIF）开发了图神经网络（GCN），以此来拉近特征空间中的多域。 文章目录方法概述内容概要工作概述成果概述方法详解方法框架具体实现实验结果总体评价引用格式参考文献 内容概要 论文名称 简称 会议/期刊 出版年份 baseline backbone 数据集 Unsupervised Multi.
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 6万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
Transformer自监督学习(2021) - SiT: Self-supervised vIsion Transformer
要相信光
12-13 5608
文章目录原文地址初识相知回顾 原文地址 https://arxiv.org/pdf/2104.03602.pdf【萨里大学】 初识 采用ViT进行在无标注数据集上进行自监督学习，降低ViT对大数据量训练的依赖，为视觉Transformer学习一个好的表征，用于下游任务。 为达到这个目的，文中提出了SiT(Self-supervised vIsion Transformer)，网络结构如下图所示，包括三个pretext task：重建任务、旋转方向预测以及对比学习。 相知 网络架构： SiT的网络结构如上图
CVPR2021-Semi-supervised Domain Adaptation based on Dual-level Domain Mixing for Semantic Segmentati
ssshyeong的博客
02-07 2942
CVPR2021半监督图像语义分割，为了解决SSDA的任务，提出了一种**基于双层域混合**的新框架。拟议的框架包括三个阶段。首先，提出了两种数据混合方法，分别在区域级和样本级减小域间距。基于两个层次的混合数据，我们可以分别从整体和局部的角度获得两个互补的领域混合教师。然后，通过从这两位老师那里提取知识来学习一个学生模型。最后，以自我培训的方式生成未标记数据的伪标签，用于另外几轮教师培训。
【论文推送】跨域学习、跨域小样本学习Cross-Domain(持续更新...)
诸葛灬孔暗
08-13 4032
深度神经网络(DNN)的泛化性能相当依赖于训练集的规模(size)和丰富性(variations). 但是在很多场景下无法搜集到如此多的数据, 如皮肤病, 卫星图片(飞机残骸).尽管每种特殊的情况发生的概率很低, 人为处理的成本也很低, 但当我们有大量的”特殊情况”时, 问题就变得复杂了起来. 如何利用一个或一些成熟域上的先验知识，去解决另一个样缺少样本域上的复杂任务是跨域少样本学习 (Cross-Domain Few Shot Learning)研究的主要问题。 本文主要记录该领...
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments}, author={Kothandaraman, Divya and Chandra, Rohan and Manocha, Dinesh}, journal={arXiv preprint ...
Self-labeled-techniques-for-semi-supervised-learning
05-15
用于半监督学习的自标记技术 2017年在罗马的Sapienza大学进行的一次神经网络项目课程。 项目报告： 实际部分： 创建的算法： 和
A unified dimensionality reduction framework for semi-paired and semi-supervised multi-view data
02-09
Canonical correlation analysis (CCA) is a popular and powerful dimensionality reduction method to analyze paired multi-view data. However, when facing semi-paired and semi-supervised multi-view data ...
Self-supervised Graph Learning for Recommendation
12-20
自监督学习用于推荐
Awesome-Self-Supervised-Papers:自我监督学习纸银行
03-20
ImageNet Acc（前1名） CVPR 2006 -- arXiv：1807.03748 -- arXiv：1911.05722 60.6％ arXiv：1905.09272 63.8％ arXiv：1906.05849 66.2％ arXiv：2002.05709 69.3％ arXiv：2003.12338 71.1％ arXiv：...
循环神经网络RNNLM续写“The meaning of life“
m0_67587248的博客
05-29 453
使用泰戈尔飞鸟集，作为一本英文诗集，用于续写The meaning of life比较好。总而言之感觉续写出来还是不错的，当然还可以用2-gram模型来做。当然每次运行结果可能都是不同的，看大家选择吧。
【深度学习】第2章
m0_37932764的博客
05-29 500
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。如果关系是非线性的，即便两个变量具有-一对应的关系，Pearson相关性也可能会接近0。皮尔森相关系数高，相关性高——>去掉特征之间相关性高的&目标值相关性较小的。其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。6.TF-iDF词条权重计算?方差小，相似度高——>去掉相似度较高的。三、特征处理（特征缩放、选择及降维）2.特征值的归一化（规范化）（2）主成分分析（PCA）（3）基于森林的特征选择。
ERV-Net：一种用于脑肿瘤分割的高效3D残差神经网络| 文献速递-深度学习肿瘤自动分割
最新发布
weixin_38594676的博客
05-30 651
然而，手动分割是一个复杂的项目，因为不同的医师在培训过程中可能具有不同的标准，因此会受到不确定误差的影响（Nyúl，Udupa和Zhang，2000年）。在ERV-Net中，首先利用了计算高效的网络3D ShuffleNetV2作为编码器，以减少GPU内存并提高ERV-Net的效率，然后引入了具有残差块（Res-decoder）的解码器以避免性能退化。特别是，我们提出了一种新颖的后处理方法，充分利用了神经网络的概率和脑肿瘤的分布特性，有效提高了我们的分割性能。表3与模型集成的最先进方法的性能比较。
rethinking graph anomaly detection: a self-supervised group discrimination p
02-05
《重新思考图形异常检测：一种自我监督的群体区分》是一篇关于图形异常检测的研究论文。现有的异常检测方法通常依赖于人工标注的异常样本，但这种方法需要大量的标注工作和专家知识。因此，该论文提出了一种基于自我监督群体区分的新方法。 该方法首先构建一个图形数据的表示形式，例如图形的节点和边表示，然后使用无监督的聚类算法将数据集分成不同的群体。通过比较不同群体之间的相似性和差异性，可以发现潜在的异常群体。这种自我监督的方法不需要人工标注的异常样本，而是通过挖掘数据本身的特征和结构来进行异常检测。 为了验证这种方法的有效性，该论文在多个真实世界的图形数据集上进行了实验。实验结果表明，该方法在检测异常群体方面具有较高的性能。与传统的异常检测方法相比，它能够更准确地识别出异常群体，并且不需要人工标注的异常样本来训练模型。 这项研究对图形异常检测领域具有重要的意义。它提出了一种新颖的自我监督方法，可以减轻传统异常检测方法中的标注负担，并且在实验中取得了很好的效果。该方法还可以应用于许多领域，如网络安全、金融欺诈检测等。未来，该研究可以进一步改进和扩展，以提高异常检测的准确性和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值