寸先生的AI道路

提出了一种新型的用于医学图像分割的深度学习模型MOSformer。它主要通过双编码器设计和动量更新方法来提高2.5D医学图像分割模型的性能，其中一个编码器使用动量更新保持切片表示的一致性。此外，它还引入了一种名为IF-Swin的变换器模块，通过在切片维度扩展窗口自注意力机制，实现多尺度特征图之间的有效融合。

本文提出了一个新的框架，名为MGIML，用于处理不完整的放射学-病理学数据进行癌症分级。主要创新在于利用记忆学习和梯度均衡化来处理数据的不完整性问题。具体来说，论文介绍了两个关键方案：记忆驱动的异质模态补全（MH-Complete）和旋转驱动的梯度均衡化（RG-Homogenize）。这些方法旨在提高模型在处理不完整数据时的性能，通过记录和阅读跨模态记忆来补充丢失的模态信息，同时优化梯度方向和大小的冲突，以提高癌症分级的准确性和效率。

在BraTS2018和BraTS2019数据集上，该方法展现出优越性能，超越了单模态方法和多种最新的多模态方法，实现了高准确性和鲁棒性的脑肿瘤分级。特点：RMC结合了2D和3D卷积，包括一个包含3D卷积层的主体，一个3D卷积块和三个2D卷积块。特点：利用主要模态的高级别特征和次要模态的低级别特征之间的引导，来强调更具信息性的特征，同时抑制较少信息的特征。根据单模态模型的表现，将模态分为主要模态和次要模态。将其提出的方法与三种基本的多模态融合方法以及两种现有的MRI多模态分类方法进行了比较。

门控融合技术：用于将这些解耦后的特征有效地结合起来，形成一个统一的特征表示，用于后续的肿瘤分割任务。在缺失模态场景下，如果不仔细考虑，融合表示会受到来自空输入通道的噪声信息的影响，那么模型的性能将不可避免地下降。具体来说，将来自每个模态的解耦的内容编码连接起来，然后输入到输出通道为M的卷积层。这种方法增强了面对缺失数据时分割过程的鲁棒性，并在多种缺失模态的场景中显示出显著的改进。特征解耦部分：负责将不同成像模态（如MRI）的数据分解为模态特定的外观特征和跨模态的内容特征。方法是将输入的多种成像模态解耦为。

因此，构建了一个涵盖39026个病例（192675次扫描）、7个人体解剖区域和9种不同模态的长尾多扫描医学疾病分类数据集，覆盖了930个ICD-10-CM代码和5568种疾病，称为Radiopaedia3D诊断数据集（RP3D-DiagDS）。在架构设计上，展示了一个支持来自各种模态的2D和3D输入的新模型，以及用于全面诊断的基于变压器的融合模块。第三，在ICD-10-CM的无序映射过程中，注释器被标记在类名称级别，即仅提供无序名称，导致一些不明确的类无法找到严格对应的ICD-10-CM代码。

本文提出了一种名为“标签辅助变换器编码器（TATE）网络”的新型多模态情感分析方法，旨在解决在不确定的多模态数据中部分模态缺失的问题。该方法通过引入一个标签编码模块来处理单个或多个模态的缺失情况，引导网络注意力集中于缺失的模态。此外，还采用了一种新的空间投影模式来对齐共同的向量，并使用变换器编码器-解码器网络来学习缺失模态的特征。实验表明，该模型在CMU-MOSI和IEMOCAP数据集上比几个基准模型表现更好，显示了该方法的有效性和优越性。

本文介绍了一种名为多尺度多模态视觉变换器（MMMViT）的新方法，用于解决脑肿瘤分割中缺失模态的问题。MMMViT 利用跨模态之间的相关性，将直接融合可用模态特定特征到共享潜在空间的过程分解为两个简单步骤，以降低学习共享潜在表示的难度。此外，该方法通过卷积编码器为每种模态提取的局部多尺度特征，输入到模态内部的变换器块中，从而隐式捕获全局多尺度特征，以适应不同大小的脑肿瘤。MMMViT 在 BraTS 2018 数据集上的验证结果表明，该方法不仅在大多数输入案例中优于现有的 mmFormer 方法，而且还提高

在本文中，特别审视了现有工作，通过不同的预训练目标、架构、下游评估任务和用于预训练及下游任务的数据集的视角。在预训练阶段，自监督方法不依赖于真实标签，而是使用数据中的其他形式的自生成的监督作为目标函数来训练预测模型。预训练后，训练好的模型用于学习使用真实标签的特定下游任务。不同的视觉提示往往在不同的视图上更明显，并且利用这些不同的视角（如果可用）可以增强学习的表示，并证明在下游评估任务中是有益的。：利用预训练模型的泛化能力，通常通过将分割任务转化为模型可以处理的形式，如利用模型在预训练过程中学到的特征。

这一部分就是在DeepLab基础空间金字塔池化（ASPP）基础上做了微小改变，通过设置不同的膨胀率，使用空洞卷积提取不同尺度的特征，与ASPP不同，RASPP模块包括附加的残差分支，其将原始特征连接到从不同膨胀率提取的特征。Attention gate (AG) module：AG是模仿人类视觉学习算法，专注于目标位置，并学习最大限度地减少冗余特征的特征图，同时强调重要的特征信息，以执行特定的任务，从图中可以看出来就是普通的注意力加权，只是换了一种说法而已。这种不均匀性会模糊病变特征，影响神经网络学习。

在本文的Introduction部分，提出了Uncertainty Quantification（不确定性量化）的背景：由于固有的不确定性，如MRI的低对比度或不同专家之间的注释的变化，医学分割问题往往是模糊的。这个公式的核心思想是，模型的总不确定性可以分解为两个部分：一部分是由于模型自身的不确定性（Epistemic Uncertainty），另一部分是由于输入数据的随机性（Aleatoric Uncertainty）。这样，不确定性映射就可以作为一个附加的约束信息，自动辅助网络获得更好的分割结果。

具体来说，它促使学生网络的潜在空间特征尽可能接近教师网络的特征，同时确保这些特征不是冗余的或过度相关的。Barlow Twins损失的核心思想是通过使网络的两个不同视角（或变换）的输出尽可能相似，同时保持这些特征表示的独立性，从而提高网络学习到的特征的质量。深度监督意味着这种损失不仅在网络的最终输出上计算，还在网络的多个层级上计算，从而促进网络在不同深度上学习更有效的特征表示。：知识蒸馏是在单阶段框架内进行的，意味着教师和学生网络是同时训练的，但在训练一个时候，固定住另外一个的参数。最后一个解码器的输出。

本文的论文数据截止至2022年，2023年又多了很多结合transformer、流模型、扩散模型的新方法，其实也可以归入本文 提到的几大类方法中，这几大类方法中，合成模型受限于合成数据和真实病理数据的差异，在特定条件下可能不会提高性能；它探讨了在医学成像领域，特别是在肿瘤分割、组织分类和图像生成等任务中，如何处理MRI序列中缺失的模态，并克服这种缺失带来的负面影响。：结合了3D U-Net和多模态变分自编码器（MVAE）的网络，旨在通过建立一个共同的潜在空间来重构缺失的MRI模态，并进行图像分割。

M³Care不是生成原始缺失数据，而是在潜在空间中估计缺失模态的任务相关信息，利用来自具有相似未缺失模态的其他病人的辅助信息。因此，为了聚合来自相似的信息，将一批患者的表示表示为每个模态中的一个图，相似度矩阵。：作者通过在真实世界数据集上的实验，展示了M³Care在各种评估指标上优于现有基线模型的性能，并且其发现与专家意见和医学知识一致，显示出提供有用见解的潜力。：M³Care模型通过任务引导的模态适应性相似性度量来识别相似的患者，并利用这些相似患者的未缺失模态数据来估计目标患者的缺失信息。

在这种方法中，学生模型（单模态输入）被训练以模仿教师模型（多模态输入）的输出。这种方法的关键在于使学生模型的预测尽可能接近教师模型的预测，从而学习到教师模型的知识。原型知识蒸馏是本文的创新点，它不仅考虑像素级的知识，还关注类内和类间的特征变化。这种方法的核心在于捕捉并传递教师模型中的内部语义关联，这是通过计算每个类别的原型（即类别的特征中心）并分析像素特征与这些原型之间的cos相似度来实现的。本文的创新点在于提出了一种新颖的原型知识蒸馏（ProtoKD）方法，用于解决医学影像分割中的缺失模态问题。

GSS框架通过在每个预测类别中形成基于模态敏感性的自我支持群体，并选择最敏感的预测作为群体领导者，从而实现模态间的有效知识蒸馏。通过在BraTS数据集上的实验，GSS框架显示出了显著的性能提升，特别是在处理缺失模态的情况下。当达到一定的迭代次数后，其效果会逐渐减弱，因为GSS框架能够在大多数位置选择正确的预测，但随机遮罩可能会丢弃这些预测，从而无法改善知识蒸馏效果。这些创新点表明，作者提出的方法在处理不完整多模态脑肿瘤分割任务时，能够有效地利用不同模态之间的互补信息，从而提高分割性能。

RFM是RFNet的一个关键组成部分，它的主要目的是根据不同脑肿瘤区域的特性，适应性地融合来自不同MRI模态的特征。：接下来，RFM通过两个全连接层、一个Leaky ReLU层和一个Sigmoid激活函数，将规范化的全局特征嵌入到模态级别的注意力权重中。：为了获取每个区域的全局特征，RFM对每个区域的特征执行区域规范化池化操作。本文的核心思想是提出了一个名为RFNet（Region-aware Fusion Network）的新型网络架构，用于处理不完整的多模态脑肿瘤分割问题。这样促进了以后的特征融合。

本文的核心思想是提出了一种名为“分布一致的模态恢复（DiCMoR）”的新方法，用于处理不完整的多模态学习中的缺失模态问题。传统的方法通常直接通过深度神经网络从观测到的模态估计缺失模态，但这种方法忽略了不同模态间分布差异，导致恢复的数据与真实数据在分布上不一致。具体来说，该方法设计了一种基于类别特定流的模态恢复方法，通过条件样本类别来转换跨模态分布，从而能够预测缺失模态的分布一致空间。此外，可视化结果显示，与缺失模态相比，DiCMoR恢复的模态在分布上的差距得到了明显缓解。的变换的“缩放”效果。

这个网络的核心思想是通过两个阶段的解耦来处理多模态磁共振成像（MRI）数据中的脑肿瘤分割问题，特别是在缺少某些成像模态的情况下。😗*ModalityDisentanglementStage(MD-Stage)：**MD-Stage的主要目标是解耦MRI数据中的模态特定信息，使模型能够在缺少某些模态的情况下仍然有效地进行脑肿瘤分割。在频率域中，模型转换模态特定代码经过离散傅里叶变换到频率谱，并进行类似的对比学习，以进一步增强模态特定信息的分离。），这些模态特定代码被转换为肿瘤特定的模态代码。

然后，提出一种多模态Transformer来建模多模态特征的相关性，并学习缺失模态的特征。Multimodal decoder：多模态共享权解码器采用对称结构设计，具有反卷积和跳跃连接，逐步结合编码器和transfomer的多模态和多层特征，在原始图像空间中生成分割mask。为了从完整模态中更准确地学习缺失模态的特征，提出了缺失-完全互补学习策略，该策略由两个对称的网络流组成，用于完整模式和缺失模式的脑肿瘤分割，使用MSE损失引导 缺失模态分支的分割预测接近完整模态。,对应MRI中的四个模态。

Edge-Preserving Masked AutoEncoder：类似于MAE结构，但MAE由于只采用像素级损失，忽略了边缘轮廓情况，对于医学图像会影响性能，因此本文使用双decoder，以多任务方式训练，一个decoder输出还原的像素图像，另外一个输出边缘图，与Sobel算子提取的边缘对照。通过计算这些特征之间的差异，模块生成一个特征一致性损失（Feature Consistency Loss），用于量化合成图像和真实图像在感知层面的差异。）和相应的缺失模态真实图像（记为。

对于生成器来说，目前的大多数方法都采用像素级生成约束来最小化生成图像与GroundTruth的之间的平均距离，忽略了更有效、更直接的特征级监督。这个模型结合了自编码器（AutoEncoder）和生成对抗网络（GAN）的特点，旨在提高医学图像合成的质量，特别是在单模态图像到图像的转换中。本文的核心观点是关于一种名为AE-GAN（AutoEncoder-Driven Generative Adversarial Network）的新型深度学习模型，它专注于医学图像合成的应用。在合成网络中的应用。

设计两种不同的学习路径，1)以完整的模式作为输入的路径，2)输入带有缺失模式的路径。本设计的主要目标是将全模态路径中的信息蒸馏到缺失模态路径，其中协同训练策略鼓励缺失模态网络重构缺失信息。KL散度:量化两种路径风格分布之间的匹配，将缺失的模态分布对齐到全模态版本，因此，它学会了通过学习后验分布来恢复缺失的信息。MSE损失:最大化两个表示的纹理之间的相关性,计算Gram矩阵元素的均方误差，这些元素是为每条路径创建的。对抗损失：将缺失模态的特征分布与全模态的特征分布对齐，以重新获得缺失的信息。

作者提出了一种基于Transformer的融合模型，名为“基于注意力的交叉模态融合与对比”（ARMOUR），使用特定于模态的代号和对比学习。: 使用两种输入模态（结构化测量和非结构化文本），跨六个临床预测任务进行ARMOUR评估，包括两种评估制度 - 包括和排除有缺失模态的患者。: 解决整合来自各种医疗来源的结构化和非结构化数据的挑战，同时考虑数据的维度、容量和时间特性的差异。该论文介绍了一种用于临床预测的多模态机器学习方法，特别关注在医疗保健数据中缺失模态的情况。数据集：MIMIC-III。

对模态的随机子集进行采样，以模拟真实情况，除此之外，我们还对剩余模态的3D patch进行随机掩蔽，就像原始的自然图像MAE一样。从整体上恢复被掩蔽的模态需要网络利用全局的模态间相关性，而恢复被掩蔽的patch需要利用模态内结构完整性和局部的模态间相关性。作者认为：原始的自然图像MAE与论文M3AE的一个显著区别是，前者的掩蔽patch只能从周围的像素中推断出来，而后者的掩蔽patch可以从其他模式中额外推断出来，因此预期更容易。替换被屏蔽的内容，并按照与非屏蔽内容相同的方式处理它们，而不是丢弃它们。

在过去的研究中，大多关注于如何处理测试数据的模态不完整性，而对于训练数据的模态不完整性，尤其是严重缺失的情况，探讨较少。结果表明，SMIL在处理严重模态缺失的多模态学习问题方面，相比现有方法和生成型基准（如自编码器和生成对抗网络）具有更好的性能。该网络利用可用的模态信息来生成缺失模态的近似值，从而在潜在特征空间中生成完整的数据，并促进两个方面的灵活性。另一方面，在测试时，通过打开或关闭特征重建网络，该模型可以以统一的方式处理不完整或完整的输入。然后，将方差用作特征正则化的权重，以减少特征之间的差异。

基于多模态MR图像分解为共同和模态特定特征，设计了一个共享超编码器，将每个可用模态嵌入到特征空间中，一个基于图注意力的融合块来聚合可用模态的特征到融合特征，和一个共享超解码器用于图像重建。在分类器中使用梯度反转层GRL（在正向传播过程中相当于恒等连接，在反向传播过程中，将该参数乘以-1，使得梯度方向反转），这个约束反过来强制分类器C不能区分这些融合特征的形式，从而迫使超编码器E和融合块U在一个共同的特征空间内产生融合特征。每个图节点对应于每个模态的特征，节点的数量动态地适应于可用模态的数量。

首先，可用的MR模式被输入到单独的编码器，以学习每个模式的独立特征。然后，提出一种多模态特征融合模型，提取用于分割的信息特征，包括跨模态融合模块和多尺度融合模块。此外，利用基于空间一致性的潜特征学习模块，利用潜多模态相关，学习相关特征，有利于分割。然后，实现多任务学习路径，包括缺失模式的模态生成任务、可用模式的模态重建任务和脑肿瘤分割任务。，这组相关系数描述了不同模态之间的非线性关系，可以用于表达某个模态与相关特征之间的关系。这样，网络就可以学习交叉模态特征，增强重要特征，抑制弱特征。

本文利用潜在空间的共享特征表示增强共享特征表示，利用特征重建方法重构缺失模态的融合特征。为了获得更好的脑肿瘤共享特征表示，强制缺失的模态路径学习完整模态路径的丰富特征表示，使其潜在的特征表示尽可能接近。此外，为了确保共享特征表示与全模态一致，缺失模态和全模态路径都使用一个共享的卷积解码器。为了进一步增强共享特征表示，对缺失路径和完整路径都使用了一个共享解码器，这强制共享特征表示与全模态的潜在特征保持一致。包含重建缺失模态特征的模块，利用可用模态的信息恢复缺失模态的融合特征。

文章回顾了各种用于缓解这个问题负面影响的网络，包括早期的合成方法以及后来的深度学习方法，如公共潜在空间模型、知识蒸馏网络、互信息最大化、生成对抗网络(GANs)等。总之，该文主要探讨了如何处理MRI中缺失模态的问题，并回顾了各种缓解这个问题负面影响的方法，为未来处理这个问题提供了参考。文章指出，缺失的MRI序列应得到补偿，而补偿由于缺乏一种或多种模态而丢失的有用信息的负面影响是一个众所周知的挑战，1.当前文献均考虑训练全模态，测试缺失模态的情况，对于训练时候缺失模态的情况如何设计模型具备鲁棒性和准确性。

这一事实在目前的多模态方法中尚未得到充分的研究，目前的多模态方法是通过特征重构或盲特征聚合来恢复缺失模态的表示，而不是从表现最好的模态中提取有用的信息。此外，还引入了一种新的掩码图像策略，随机对图像的补丁进行 25% 的掩码，作为数据增强技术，以进一步提高模型的性能。在脑瘤分割数据集2018 (BraTS2018)上的实验表明，LCKD比其他方法有相当大的优势，提高了最先进的性能，提高了3.61%的增强肿瘤，5.99%的肿瘤核心，3.76%的整个肿瘤分割Dice score。使用类似MAE的方式预训练。

MICCIA2023多模态论文速读

基于最近的进展，在这篇综述中，我们提供了一个详细的分析缺失模式的问题，在磁共振成像的脑肿瘤分割。然后，我们对目前最先进的方法进行了分类，分为五类，即基于图像合成的方法、基于潜在特征空间的模型、基于多源相关的方法、基于知识提取的方法和基于领域自适应的方法。(1)对最近的方法进行了技术概述，并将这些出版物分为五组:基于图像合成的方法、基于潜在特征空间的模型、基于多源相关性的方法、基于知识蒸馏的方法和基于领域自适应的方法。此外，我们对所审查的方法提供了简明的表格描述，并比较了它们在缺失模式的情况下的性能。