weixin_42489272的博客

引入额外的分类器，预测提取融合特征时每个模态是否可用，对抗性地迫使超编码器和融合块产生无法被分类器正确分类的融合特征，即保证提取到的融合特征再公共特征空间中。利用提取到的公共特征重建多模态MR，将特征和完整的模态MR图像合并，输入到分割网络来估计肿瘤标签。可以自适应地交互和融合从不同输入模态中提取的多模态特征。每个图节点对应每个模态的特征，节点数量动态适应可用模态的数量，边建模了每一对可用模态之间的联系。将模态补全作为正则化，将补全后的图像作为分割的输入，将补全过程中提取的共同特征作为额外的分割输入。

最后，我们从合成的伪DWI中分割病变区域，其中分割网络基于可切换的归一化和通道校准，以获得更好的性能。实验结果表明，我们的框架在ISLES 2018挑战中获得了最高的性能，并且：（1）我们使用合成伪DWI的方法优于直接从灌注参数图中分割病变的方法；所提出的框架有可能改善缺血性中风的诊断和治疗，因为真正的DWI扫描有限。另一方面，由于L1范数平等地对待每个元素，而L2范数为可能由异常值引起的较大预测误差分配更高的权重（即，通过平方），因此L1范数比L2范数具有更高的鲁棒性（Ghosh等人，2017）。

在CRAG、ISIC和IDRiD数据集上的实验结果表明，使用我们的SESV框架可以显著提高DeepLabv3+的准确性，并在腺细胞、皮肤病变和视网膜微动脉瘤的分割中实现高级性能。当分别使用PSPNet、U-Net和FPN作为分割网络时，也可以得出一致的结论。尽管深度卷积神经网络普遍存在并取得了成功，但仍需要改进，以产生足够准确和稳健的分割结果供临床使用。，然后将误差图与图像和分割掩模连接起来，作为重新分割网络的输入。首先，我们不使用预测的分割误差图来直接校正分割掩模，而是只。，而不是设计更准确的分割模型。

在本文中，我们提出了一种新的翻译辅助分割网络（TASNet），用于单模态内窥镜图像的息肉分割。大量实验表明，在五个广泛使用的内窥镜图像数据集上，我们的框架比最先进的方法实现了更高的性能。使用物理方法生成一个能清晰观察到病灶的模态，再通过合成、分割联合框架学习与病灶相关的特征，以增强语义分割的效果，在五个内窥镜图像数据集上测试均有提升，可见这种方式可以增强内窥镜图像中病灶的分割。首先，息肉的外观，包括质地、大小、形状和颜色，随着不同类型和内镜摄像机角度的不断变化而有很大的差异。第三，内窥镜图像可能涉及。

为了确定最适合HS分割的合成MRI模式，我们比较了3种超高场MRI合成：7T T1 MRI、7T T2 MRI和7T T1 + T2 MRI (即同时合成7T T1 MRI和7T T2 MRI)。通过重点保留ROI内重要的结构和纹理信息，ROI损失增强了合成的7T MRI的质量，从而提高了HS分割的准确性。3T 图像的信号对比度和分辨率有限，因此在常规 3T MRI 中自动分割这些子场具有挑战性，本文旨利用超高场 7T MRI 合成来改善 3T MRI 中的海马亚场分割。输入是3T数据，合成7T数据。

相应地，D重新强调了不仅有大的血管主干，还有充满细节信息的难以捉摸的血管的重要性。在这种良好匹配的设置下，加强对抗训练，以迫使G生成更真实的血管分割图。框架新颖，虽然也对UNet进行了魔改，但是魔改UNet不是最主要的点，使用生成对抗网络分割，加权损失函数等，可能也只是为了论文好看，主要是框架新。然而，分割性能受难以捉摸的血管的影响很大，特别是在。文中称这种难以分割的区域为：Elusive vessel segmentation，难以捉摸的血管分割。将视网膜眼底图像作为输入，输出视网膜血管的血管概率图。

生成器是增强的UNet，判别器是个FCN，传统的判别器只有下采样结构，得到的是分类结果，此处判别器是个编解码器结构，输出的和原分割图大小一样。即：判别器得到的是正确分割每个局部区域的置信度；判别器和生成器之间的不平衡，为了避免这种不平衡，我们在分析了判别器在生成对抗网络中的作用后，将对抗学习放松为置信学习。，在解码器路径( Merkow等2016)中注入3个尺度的深度监督，并提出通道注意力模块，以更好地融合低层和高层的级联信息(胡、申、孙)。X是输入，P是标签，ctaD是置信度网络的参数，S是分那个网络。

CODNet将模型预测（Dir yini和Dir yref）和图像x的级联作为输入，以产生单通道置信度图，以及最终预测的cref，通过从伪装目标检测网络fθ（x）和地面实况伪装图y的预测导出的动态不确定性监督来监督估计的置信图。数据集：使用COD10K训练集[13]训练我们的模型，并在四个伪装物体检测测试集上进行测试，包括CAMO[28]、CHAELEON[45]、COD10K测试数据集[13]和NC4K数据集[33]。在我们的工作中，它代表了以输入图像为条件的预测的不确定性。和可靠的“任意不确定性”。

进行跨模态融合得到了最优的效果。

因此，我们首先通过步长为2和4的3×3卷积运算，将原始输入特征下采样为两个不同的低分辨率特征，以实现用于捕获粗略身体特征的大RF。然后，为了生成可用于详细说明身体特征生成的原始特征的身体位置权重图，我们提出了一种基于不同分辨率卷积特征的身体定位权重块。3） 与[33]、[34]等以前的大多数方法不同，这些方法只使用损失来利用主体和边缘信息，或者不设计独立的模块来提取边缘特征，如[25]，在本研究中，除了使用主体和边缘监督损失，我们设计了相互独立的。MSSTC模块，它可以用来代替常用的3×3卷积层，以学习。

研究从T1合成Flair图像是否有助于从T1的单一模态改进脑肿瘤分割，通过设计用于Flair图像合成的3D cGan和局部自适应融合，更好地描述合成Flair图像的细节。尽管这种凸组合会产生一些影响合成图像外观的伪影，但它被证明是改进分割的有效策略，而分割是我们的最终目标。最终目标，合成Flair图像以提高脑肿瘤的分割精度，与那些专注于提高PSNR的合成方法相比，对输出图像的质量提出了更高的要求。微调是至关重要的，因为对于给定的测试样本，用于分割的是合成的FLAIR图像，而不是真实的未知FLAIR图像。

在过去的几年里，卷积神经网络（CNNs）已被证明在提取对医学图像配准至关重要的图像特征方面具有强大的功能。因此先进行自监督学习（对比学习）进行预训练，冻结预训练好的特征提取器，用于图像配准训练，在300轮之后，解冻特征提取器，对整个网络进行微调。在训练的早期阶段，提取的特征可能与图像配准任务无关，因此计算的注意力可能与配准不相关。然后，我们冻结预先训练的模块，以调整网络的其余部分。，该策略强制所提出的网络的特征提取器模块在对整个网络进行端到端训练之前，从两种模态的相应解剖区域学习相似的特征表示。

对所有的数据（有标签和无标签一起），计算三个解码器交叉的MSELoss，MSE(Yd1, Yd2锐化)，MSE(Yd1, Yd3锐化)，MSE(Yd2，Yd1锐化)，MSE(Yd2, Yd3锐化)，MSE(Yd3, Yd1锐化)，MSE(Yd3, Yd2锐化)MSE(Yd1, Yd2锐化)，MSE(Yd1, Yd3锐化)，MSE(Yd2，Yd1锐化)，MSE(Yd2, Yd3锐化)，MSE(Yd3, Yd1锐化)，MSE(Yd3, Yd2锐化)MC损失，就是用锐化前的和锐化后的一致性损失，来自不同解码器。

由于良好的低水平合成质量测量（如SSIM和PSNR）可能不一定会由于xt’ 和xt之间的高水平语义差距而导致高分割性能[32]，我们引入了感知损失来鼓励用真实目标模态图像训练的分割模型在参数冻结的合成图像上保持高性能，这使得合成图像和真实目标模态具有相似的语义特征。与典型的合成后分割方法[39，5]相比，我们的框架是端到端训练的，因此合成和分割是自适应的，可以获得分割友结果。实验结果表明，与现有模态的直接分割相比，我们的TISS-Net大大提高了分割精度，并且它优于最先进的基于图像合成的分割方法。

受[19]中构象器的巨大成功的启发，我们还为生成器配备了几个构象器，它探索了每个切片的所有像素之间的局部和全局关系，从而产生了与注意力相关的潜在代码，并生成了具有不同细节的图像。生成器是CNN+Transformer，从消融实验看，加入参考文献19提供的Conformer Block有很大提升，双判别器从不同视图提供结构特征，可变形卷积利用切片间和切片内特征（2.5D思想），中间还加入了VGG16、19编码器提取特征进行判别。通过比较方法和我们的建议对真实和生成的F-PET图像之间的伪色差图进行比较。

结构对准是跨模态图像生成的关键因素，先前的研究表明，成对的CT-MRI图像中的逐像素结构错位会导致重建失败。为了避免我们提出的模型中的过拟合和数据泄露，我们将数据集划分为来自10名患者的1366个CT/MR切片的训练集和来自15名患者的2050个CT/MR切片的测试集。为了解决未配对MRI-CT数据中MRI图像和CT图像的低结构一致性问题，我们提出的方法包括五个损失函数：风格传递损失、感知损失、循环损失、一致性损失和对抗性损失。与普通的循环一致性损失相比，联合目标函数对内容重建的体素保持了更高的保真度。

从两个源模态合成目标模态为例，生成器将模态1和模态2都作为输入，通过多尺度的卷积块和融合模块生成逼真的合成目标模态。之后，以源输入和真实或合成目标模态作为输入组，鉴别器打算将伪组与真实组区分开来。为了保持这种特异性，有必要将每个模态逐一对应于一个独立的编码器，而不是简单地将它们堆叠作为输入。引入了门合并（GM）策略作为主要的集成机制，该策略能够针对不同模态的特征学习自动权重矩阵，从而增强相关信号并抑制噪声。然而，由于时间和成本的限制，患者的一些图像序列可能会丢失或损坏，这对准确诊断构成了障碍。

最后，我们的Hi-Net将模态特定网络和融合网络相结合，以学习各种模态的潜在表示，并用于生成目标图像。，我们同时使用所有三种融合策略，然后将它们连接起来。为了实现这一目标，我们首先为每个单独的模态（例如，xi）构建一个模态特定网络。在多模态融合任务中，流行的策略包括逐元素求和、逐元素乘积和逐元素最大化。提取多个模态的特征，合成某一缺失模态，效果好于单模态生成缺失模态。实验充分，消融实验丰富，单纯拼接、MFF融合、早期融合、后期融合。MFB融合，自适应调整逐元素加、逐元素乘、最大之间的融合效果。

输入是未配准的成对CT-SynCTA影像，先用CT影像生成SynCTA影像，再对SynCTA影像进行配准，再通过判别器，判别生成的影像和原始SynCTA影像。最终合成配准了的SynCTA影像。碘造影剂（ICAs）广泛用于CT血管造影术（CTA），可能会对人体产生不良影响，而且使用耗时且成本高昂。论文中对方法描述不对，以下是从源代码中简化的训练步骤伪代码。配准后的图像和源图像的L1 loss，对抗loss。并评价生成的效果很有意义。

在该块中，首先使用全局平均池来聚合输入的全局上下文信息，然后应用具有不同非线性激活函数的两个1×1卷积层，即ReLU和Sigmoid，来估计层相关性并生成沿信道维度的权重。视网膜图像中的视盘和视杯分割：我们评估了我们在视网膜图像中视盘和视杯分割的方法，这是青光眼检测中的一项常见任务。为了适应对象的形状和大小变化，现有的方法倾向于总结沿通道维度的多尺度输出，以进行最终预测（例如，[5，19]）。在四个分割任务（即视网膜图像中的视盘/杯和血管分割，以及胸部X射线和CT图像中的肺部分割）上的实验结果表明，保。