qq_45745941的博客

新兴的先进神经影像学研究证据表明，不同脑部疾病（BD）在整个人类生命周期中可能具有共同的神经基础。因此，研究人员旨在创建一个基于神经影像的大规模人群筛查诊断模型，用于多个脑部疾病的识别。现有的模型主要采用迁移学习范式，这些模型基于大规模但与任务关系较弱的外部数据预训练，或者基于健康人群大脑数据预训练，并使用辅助任务（如年龄预测）。前者对人群规模大脑数据中的个体间差异和与BD相关的特征识别较少，而后者则依赖于代理任务与BD任务之间的弱隐式关联。

胸部 X 线检查中的异常检测是一项关键任务。大多数方法主要对正态图像的分布进行建模，然后将与正态分布的显著偏差视为异常。最近，基于CLIP的方法在大量医学图像上进行了预训练，在零/少样本下游任务上显示出令人印象深刻的性能。探索基于 CLIP 的方法在胸部 X 射线异常检测中的潜力。提出了可学习的位置引导文本和图像提示，以使任务数据适应冻结的基于 CLIP 的预训练模型。为了增强模型的判别能力，我们在训练过程中提出了一种新的胸部 X 射线结构保持异常合成方法。

心脏磁共振 （CMR） 成像是评估心脏形态和功能的金标准。通常，会获取涵盖短轴 （SA） 和 2/3/4 腔长轴 （LA） 视图的多视图 CMR 堆栈，以进行全面的心脏评估。然而，有效地简化复杂的高维 3D+T CMR 数据并提炼出紧凑、连贯的表示仍然是一项挑战。目的：引入了一个全心脏自我监督学习框架，该框架利用MASK成像建模来自动揭示整个心脏堆栈中空间和时间斑块之间的相关性。这个过程有助于生成有意义且聚类良好的心脏表示，而无需依赖传统上需要且通常昂贵的标记数据。

无监督域适应（UDA）因其能够将从有标记的源域中学习到的知识迁移到无标记的目标域而备受关注。然而，典型的UDA方法需要同时访问源域和目标域的数据，这在源数据由于隐私问题而不可用的医学场景中受到很大限制。为了解决无源数据问题，我们提出了一种新颖的两阶段无源域适应（SFDA）框架，用于医学图像分割。在域适应过程中，只能使用经过良好训练的源分割模型和未标记的目标数据。方法原型锚定特征对齐阶段首先利用预训练的像素级分类器的权重作为源原型，这些原型保留了源特征的信息。

在实时超声图像中进行病变检测是医学诊断中的关键任务之一。然而，由于图像噪声和环境因素的干扰，假阳性结果的产生可能会降低检测的准确性。为了解决这一问题，研究人员提出了一种新的方法，利用负面时间背景来帮助抑制假阳性。在超声图像序列中，负面时间背景是指不包含任何病变的图像片段。这些片段提供了健康组织的参考背景，有助于识别真实病变和噪声之间的差异。这项新方法利用负面时间背景来识别可能的假阳性结果，并在实时超声图像中进行标记。具体而言，该方法通过比较实时图像与负面时间背景来识别异常结果。

通过深度学习技术对大脑结构和功能之间的相互作用进行建模，在识别不同临床表型和脑疾病的潜在生物标志物方面取得了显著成功。然而，大多数现有研究都集中在单向映射上，要么将大脑功能投影到大脑结构上，要么反过来。这种单向映射方法的局限性在于，它将映射视为一种单向任务，并忽视了这两种模态之间的内在统一性。此外，当处理相同的生物大脑时，从结构到功能的映射和从功能到结构的映射产生的结果不同，突显了单向映射中可能存在偏差的可能性。

本文通过基于扩散模型的框架解决了深度学习医学图像增强方法的局限性。这一框架减少了对配对数据的需求，并且可以通过一个预训练的扩散模型同时处理多个增强任务而无需微调。实验结果表明，本文的方法对图像去噪和超分辨率具有通用性和鲁棒性，为可扩展和通用的图像增强提供了实用的解决方案。代码地址。

该研究提出了一种基于Transformer 的多模态策略，用于将重复成像与常规电子健康记录（EHRs）中的纵向临床特征整合，以进行孤立性肺结节（SPN）的分类。通过对潜在临床特征进行无监督解缠，并利用时间-距离缩放的自注意力机制，共同学习临床特征的表达和胸部计算机断层扫描（CT）。该分类器在一个公共数据集的2,668个扫描和1,149名具有纵向胸部CT、账单代码、药物和实验室检查的患者的EHRs上进行了预训练。

自我监督学习的最新进展表明，可以从未标记的图像中学习有效的视觉表示。这导致人们对将自我监督学习应用于医学领域的兴趣日益浓厚，因为在医学领域，未标记的图像非常丰富，并且很难获得标记图像。然而，大多数自监督学习方法被建模为图像级判别或生成代理任务，这些任务可能无法捕获密集预测任务（如多器官分割）所需的更精细的表示。本文提出了一种新颖的对比学习框架，该框架集成了局部区域对比 （LRC），以增强现有的医学图像分割自监督预训练方法。

医学教育对于提供医学中最好的患者护理至关重要，但使用真实世界的数据创建教育材料会带来许多挑战。例如，疾病的诊断和治疗可能会受到医学图像中微小但显着差异的影响;然而，收集图像以突出这些差异通常成本高昂。因此，允许用户创建其预期疾病特征的医学图像编辑可用于教育。然而，现有的图像编辑方法通常需要手动注释标签，这是劳动密集型的，并且通常具有挑战性，以精确表示细粒度的解剖元素本文提出了一种新的算法，用于使用通过自监督学习获得的分割标签来编辑解剖元素。

跨域分布偏移是医学图像分析的常见问题，因为来自不同设备的医学图像通常具有不同的域分布。测试时自适应（TTA）是一种很有前途的解决方案，它以无监督的方式在测试时有效地使源域分布适应目标域分布，这越来越受到人们的关注。以前应用于医学图像分割任务的 TTA 方法通常对所有语义类别进行全局域适应，但由于域移位对不同语义类别的影响可能不同，因此全局域适应将是次优的。本文提出了语义感知测试时适应（SATTA），它可以单独更新模型参数以适应每个语义类别的目标域分布。

域偏移是临床应用中的常见问题，其中训练图像（源域）和测试图像（目标域）处于不同的分布下。已经提出了无监督域适应 （UDA） 技术，以使在源域中训练的模型适应目标域。但是，这些方法需要来自目标域的大量图像进行模型训练。本文提出了一种新的少样本无监督域适应（FSUDA）方法，其中只有有限数量的未标记目标域样本可用于训练。首先引入频谱灵敏度图来表征频域中模型的泛化弱点。

由于各种数据分布，在实际应用中部署深度学习模型时，域转移是一个巨大的挑战。领域适应的最新进展主要来自显式学习领域不变特征（例如，通过对抗学习、度量学习和自我训练）。虽然由于领域知识的多样化，它们不能轻易扩展到多领域。在本文中，我们提出了一种新型的多目标域适应（MTDA）算法，即prompt-DA通过隐式特征适应进行医学图像分割。具体而言，我们通过简单地获取特定领域的提示，并通过专门设计的简单特征融合模块，利用它们生成领域感知图像特征，从而构建特征传递模块。

在医学图像分析中，迁移学习是深度神经网络 （DNN） 对有限的医疗数据进行泛化的强大方法。之前的工作重点是在肺超声、胸部 X 射线和肝脏 CT 等领域开发预训练算法，以弥合领域差距。然而，模型微调在使医学知识适应目标任务方面也起着至关重要的作用。常见的微调方法是手动挑选可转移层（例如，最后几层）进行更新，这非常耗费人力。本文提出了一种名为MetaLR的基于元学习率（LR）的调节器，以使不同的层根据其跨领域的可转移性自动共同适应下游任务。

最近，解剖学标志检测在单域数据上取得了进步，单域数据通常假设训练集和测试集来自同一域。然而，这种假设在实践中并不总是正确的，由于域偏移，这可能会导致性能显著下降。为了解决这个问题，我们提出了一种新的框架，用于在无监督域适应（UDA）下进行解剖学标志检测，该框架旨在将知识从标记的源域转移到未标记的靶域。该框架利用自我训练和领域对抗学习来解决适应过程中的领域差距。具体而言，该文提出一种自训练策略，选择具有动态阈值的目标域数据可靠的地标级伪标签，使适应更加有效。

本文介绍了 vox2vec——一种体素级表示的自监督学习 （SSL） 对比方法。

掩蔽自动编码器（MAE）引起了前所未有的关注，并在许多视觉任务中取得了卓越的性能。它在预训练期间重建随机掩码图像补丁（称为代理任务），并学习有意义的语义表示，这些语义表示可以转移到下游任务。然而，MAE在超声成像中尚未得到彻底探索。在这项工作中，我们研究了MAE在超声图像识别中的潜力。受超声成像在高噪信比下的独特特性的启发，我们提出了一种新颖的去模糊 MAE 方法，该方法在预训练期间将去模糊纳入代理任务中。去模糊的加入有助于预训练，以更好地恢复超声图像中呈现的细微细节，从而提高下游分类任务的性能。代码地址。

动态正电子发射断层扫描成像 （dPET） 提供示踪剂的时间分辨图像。从 dPET 中提取的时间活动曲线 （TAC） 的基于体素生理学的药代动力学建模可以为临床工作流程提供相关的诊断信息。传统的TAC拟合策略速度较慢，并且忽略了相邻体素之间的空间关系。我们训练了一个时空UNet来估计dPET给定TAC的动力学参数。这项工作引入了一种自监督损失公式，以加强测量的TAC与使用学习的动力学参数生成的TAC之间的相似性。

题目：DAS-MIL: Distilling Across Scales for MIL Classification of Histological WSIs近年来，采用多实例学习 （MIL） 对全玻片图像 （WSI） 进行分类的情况有所增加。事实上，在实践中，对千兆像素 WSI 进行像素级注释大多是不可行的，而且非常耗时。出于这个原因，MIL方法已经与最新的WSI分类深度学习解决方案进行了有益的整合，以支持临床实践和诊断。然而，大多数此类方法都忽视了WSI的多尺度性质;现有的少数分层媒介与信息素养建议只

由于prompt的灵活性，基础模型已经成为自然语言处理和图像生成领域的主导力量。随着最近Segment Anything Model（SAM）的引入，prompt驱动范式已经进入图像分割领域，带来了一系列以前未探索的功能。然而，由于自然图像和医学图像之间的显著差异，它是否适用于医学图像分割仍不清楚。在这项工作中，我们总结了最近将SAM的成功扩展到医学图像分割任务的努力，包括经验基准和方法调整，并讨论了SAM在医学图像分割中的潜在未来方向代码地址SAM的成功证明了建立细分基础模型的可行性。

对标记像素级注释的人力的巨大需求引发了无监督语义分割的出现。尽管最近使用视觉转换器（ViT）主干的工作显示出了卓越的性能，但仍然缺乏对特定任务的训练指导和局部语义一致性的考虑。本文方法通过挖掘隐藏的正例因素来利用对比学习来学习丰富的语义关系，并确保局部区域的语义一致性。首先基于固定的预训练主干和训练中的分割头分别定义的特征相似性，为每个锚点发现两种类型的全局隐藏正例因素，即任务无关和任务特定。后者的贡献逐渐增加，导致模型捕捉特定于任务的语义特征。

由于大规模视觉语言预处理取得了令人瞩目的进展，最近的识别模型可以以零样本和开放集的方式对任意对象进行分类，并且具有令人惊讶的高精度。然而，将这一成功转化为语义分割并非易事，因为这种密集的预测任务不仅需要准确的语义理解，还需要精细的形状描绘，并且现有的视觉语言模型是用图像级语言描述训练的。为了弥合这一差距，我们在本研究中追求基于形状零样本语义分割。本文要点利用自监督像素特征构建的拉普拉斯矩阵的特征向量来提高形状感知使用不同主干在不同数据集上实现的性能增益。

最近，无监督域自适应（UDA）被积极探索用于具有域差异的多点眼底图像分割。尽管放宽了对目标标签的要求，但典型的UDA仍然需要标记的源数据来在适应过程中实现分布对齐。不幸的是，由于隐私问题，供应商方在临床实践中往往无法向目标客户方提供源数据，这使得适应更具挑战性。为了解决这一问题提出了一种新的不确定性校正去噪放松（U-D4R）框架，旨在完全放松源数据，并将预训练的源模型有效地适应目标域考虑到目标域上的源模型预测不可靠，我们首先提出了一种自适应类相关阈值策略作为粗去噪过程来生成伪标签。

基于图像块重建的自监督学习方法在训练自动编码器方面取得了巨大成功，其预先训练的权重可以转移到微调图像理解的其他下游任务。然而，现有的方法在应用于3D医学图像时，很少研究重建patch的各种重要性和解剖结构的对称性。提出了一种新的基于视觉变换器（ViT）的注意力对称自动编码器（ASA），用于3D大脑MRI分割任务。与恢复平滑的图像块相比，强制自动编码器恢复信息丰富的图像区域可以获得更多的判别表示采用基于梯度的度量来估计每个图像块的重要性。

在本文中，我们通过潜在空间研究来解决跨CT-MR肝脏分割任务中的域偏移问题。模态之间的域自适应在临床实践中具有重要意义，因为不同的诊断程序需要不同的成像模态，如CT和MR。因此，用一种模态训练卷积神经网络（CNN）可能不足以应用于另一种模态。大多数领域自适应方法需要在训练过程中使用源领域和目标领域的数据和基本事实。与这些技术不同，我们通过利用CT和MR图像的先验知识研究无参数的潜在空间，提出了一种零样本双向跨模态肝脏分割方法。

a） 领域转移示意图b） （i）原始数据分布；（ii）极端经典特征自适应；（iii）极端域不变特征自适应；（iv）我们的方法中的特征自适应。来自不同中心的结肠镜检查图像通常表现出外观变化，使得在一个领域训练的模型无法很好地推广到另一个领域。为了解决这个问题，提出了一种新的基于任务相关特征补充的网络（TRFR-Net），用于跨中心息肉分割，通过检索任务相关知识来获得足够的辨别能力，并减轻风格变化。首先设计了一个域不变特征分解（DIFD）模块，放置在每个编码块之后，以提取用于分割的域共享信息。

背景自监督学习（SSL）能够在几乎没有注释的情况下实现高级性能，已被证明在医学图像分割中是成功的。通常，SSL依赖于测量在最深层获得的特征的相似性来吸引正对的特征或排斥负对的特征，然后可能遭受浅层的弱监督。本文方法以深度自蒸馏（DeSD）的方式重新制定了SSL，以提高浅层和深层的表示质量。DeSD模型由在线学生网络和动量教师网络组成，两者都由多个子编码器堆叠。对学生网络中的每个子编码器产生的特征进行训练，以匹配教师网络产生的特征。

尽管深度卷积神经网络（CNN）在医学图像分割方面取得了巨大进展，但它们通常需要大量专家级的精确、密集注释的图像来进行训练，并且很难推广到看不见的对象类别。因此，很少有人提出通过学习从几个带注释的支持样本中转移知识来解决这些挑战。

提出了一种新的无监督分割框架该框架由两个阶段组成：图像级聚类将图像分为不同的类别，像素级分割利用聚类网络的指导基于观察到较小的病变在具有详细纹理信息的大尺度图像上更明显，而较大的病变在大视场的小尺度图像上则更容易捕获，我们分别通过尺度不变正则化和多尺度类激活图（CAM）融合策略将多尺度信息引入这两个阶段。在公共视网膜数据集上的实验表明，所提出的框架在没有任何监督的情况下获得了76.28%的Dice分数，这大大优于最先进的无监督方法（Dice分数提高了20%以上）代码链接。

本文提出了一种基于类别级正则化的无监督领域自适应框架，从三个角度对类别分布进行正则化。具体来说，对于域间类别正则化，提出了一种自适应原型对齐模块来对齐源域和目标域中相同类别的特征原型。对于域内类别正则化，我们分别为源域和目标域定制了正则化技术。在源域中，提出了原型引导的判别损失，通过增强类内紧致性和类间可分性来学习更多的判别特征表示，并作为对传统监督损失的补充在目标域中，提出了一种增强一致性类别正则化损失，以迫使模型对增强/未增强的目标图像产生一致的预测，这鼓励语义相似的区域被赋予相同的标签。

边界增强自监督学习(BE-SSL)利用超体素分割和配准作为两个相关的代理任务。前者通过重构超体素转换的距离变换图来获取边界信息，后一项任务通过在配准中对齐组织和器官，进一步用语义增强边界。代码链接。

无监督分割一种基于GAN的方法，该方法生成以潜在MASK为条件的图像以层级方式在明确定义部分位置的2D潜在点上调节掩模时，可以很好的学习以MASK为条件的图像生成不需要监视MASK或点，增加了MASK到viewpoint和目标位置变化的鲁棒性。还可以让我们生成图像MASK对来训练分割网络，它在已建立的基准上优于最先进的无监督分割方法代码链接。

使用密集注意力(例如在ViT中)会导致过多的内存和计算成本，并且特征可能会受到超出感兴趣区域的无关部分的影响。另一方面，在PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制对长期关系建模的能力。为了缓解这些问题，我们提出了一种新的可变形的自我注意模块，其中键和值对在自我注意中的位置以数据依赖的方式选择。这种灵活的方案使自关注模块能够专注于相关区域，并捕获更多信息特征。

Few-shot分割的目的是设计一个泛化模型，在训练过程中，在少数支持图像的指导下，将查询图像从不可见的类中分割出来，这些支持图像的类与查询的类一致。在以往的研究中，存在着两个领域特有的问题，即空间不一致性和对可见类的偏向。对于第一个问题，本文方法在多尺度上比较支持特征图和查询特征图，使其成为尺度不可知的。为了解决可见类偏向问题，在可用的类上训练一个监督模型，称为基础学习器，以准确地识别属于所见类的像素。

考虑每种模型类型如何在不同的域、不同的初始化类型以及模型容量范围内执行各种任务。研究的主要问题是，原型VIT是否可以用作替代cnn的医疗诊断任务。ViTs和cnn在相同条件下完成各种医学图像分析任务。

对于裁剪，原始图像大小的[0.7,0.9]，然后将裁剪区域调整为原始大小，以引入不同形状的解剖结构。与域转换不同，标签也通过相同的空间转换进行相应的转换。翻转的概率§为5%，而裁剪的概率§为50%，以引入不同的解剖尺寸。然而，结构特征和领域特征之间MI的最小化并不一定使两个特征都包含各自的信息。将单域图像转换为不同的域样式。目标：训练一个分割网络，它可以泛化到未见的领域，并作为下游任务的良好预训练模型，而训练数据集只包含来自单个领域的图像。训练数据集只包含单个域的图像，因此需要丰富训练数据的多样性。

第2行中增加了对比损失，但嵌入是通过对整个图像进行全局平均池化获得的。第一行表示无CDC损失的CMA，仅依靠熵最小化和自训练进行适应。第3行在7×7网格上添加补丁级分组。第4行中结合参考图像扭曲。第5行中置信度调制添加。模型整体结构如下所示。