小白学视觉

多模态学习已被证明能够通过不同模态数据提供的多样化视角来提升各种临床任务的性能。然而，现有的多模态分割方法依赖于良好配准的多模态数据，这对于现实世界中的临床图像，尤其是肝肿瘤等模糊和弥散区域，是不现实的。本文提出了Diff4MMLiTS，一个四阶段的多模态肝肿瘤分割流程：首先在多模态CT中对目标器官进行预配准；然后对标注模态的掩码进行膨胀，并用于修复以获得无肿瘤的多模态正常CT；接着基于多模态CT特征和随机生成的肿瘤掩码，使用潜在扩散模型合成严格对齐的多模态CT；

注释稀缺以及跨模态/染色数据分布的差异，是阻碍深度学习模型在细胞核分析中应用的两大主要障碍。细胞核分析在数字病理学领域有着广泛的潜在应用。近年来，无监督域适应（UDA）方法被提出，用于缓解不同成像模态之间的分布差异，以实现组织病理学图像中无监督的细胞核分割。然而，现有的UDA方法建立在每个域内数据分布均匀的假设之上。基于这种过度简化的假设，它们提议将组织病理学目标域与源域进行整体对齐，却忽略了由混合癌症类型和采样器官导致的子分区内严重的域内差异。

从可用的成像模态合成不可用的模态可以生成模态特定的补充信息，并实现基于多模态的医学图像诊断或治疗。现有的医学图像合成生成方法通常基于已获取和缺失模态之间的跨模态转换。这些方法通常针对特定的缺失模态，并在一次操作中完成合成，无法灵活处理不同数量的缺失模态，也无法有效构建模态之间的映射。

尽管已有多种基于深度学习的方法被提出用于从血管内光学相干断层扫描（OCT）图像中提取单一类别的易损斑块，但由于缺乏公开的大规模多类别易损斑块标注的血管内OCT数据集，进一步的研究受到了限制。此外，由于斑块的不规则分布、独特的几何形状和模糊的边界，多类别易损斑块分割极具挑战性。现有方法未能充分解决易损斑块的几何特征和空间先验信息。为了解决这些问题，我们收集了一个包含70个回拉数据的数据集，并开发了一个名为PolarFormer的多类别易损斑块分割模型，该模型结合了易损斑块在空间分布上的先验知识。

为了在最小化辐射暴露的同时获得高质量的正电子发射断层扫描（PET）图像，许多方法致力于从低计数PET（LPET）中获取标准计数PET（SPET）。然而，现有方法未能充分利用来自多个域（即正弦图、图像和频率域）的不同强调信息，导致关键细节的丢失。同时，它们忽略了正弦图的独特内部结构，从而未能充分捕捉其结构特征和关系。为了解决这些问题，本文提出了一种先验知识引导的Transformer-GAN，它联合了正弦图、图像和频率三个域，直接从LPET正弦图中重建SPET图像，即PK-TriDo。

在机器学习中，识别阿尔茨海默病（AD）的进展阶段可以被视为一个不平衡的多类分类问题。由于类别不平衡问题和疾病的异质性，这非常具有挑战性。最近，图卷积网络（GCNs）已成功应用于AD分类。然而，这些工作没有处理分类中的类别不平衡问题。此外，它们忽略了疾病的异质性。为此，我们提出了一种新的基于图卷积网络的成本敏感加权对比学习方法（CSWCL-GCNs），用于不平衡的AD分期，使用静息态功能磁共振成像（rs-fMRI）。所提出的方法是基于通过受试者的功能连接（FC）和高阶功能连接（HOFC）特征构建的多视图图。

磁共振成像（MRI）在放射学中至关重要，能够对人体进行无创且高质量的观测。将MRI精确分割为不同的器官和组织十分有益，因为这能够实现更精确的测量，这对准确诊断和有效治疗方案的制定至关重要。具体而言，对MRI中的骨骼进行分割，可以对肌肉骨骼状况进行更量化的评估，而目前的放射学实践中很大程度上缺少这类评估。骨骼MRI分割的难度体现在公开可用的算法有限，且文献中的算法通常针对特定的解剖区域。在本研究中，作者提出了一种通用的、公开可用的深度学习模型，用于在多个标准MRI部位进行骨骼分割。

多模态磁共振成像（MRI）提供了互补的诊断信息，但某些模态受限于较长的扫描时间。为了加速整个采集过程，利用另一个完全采样的参考模态从高度欠采样的k空间数据中重建一个模态的MRI是一种有效的解决方案。然而，模态之间的不对齐现象在临床实践中很常见，这会对重建质量产生负面影响。现有的考虑模态间不对齐的基于深度学习的方法表现较好，但仍存在两个主要的共同局限性：（1）空间对齐任务没有与重建过程自适应地集成，导致这两个任务之间的互补性不足；（2）整个框架的可解释性较弱。

监督深度学习（SDL）技术在成对训练数据集的支持下，已被广泛研究用于X射线计算机断层扫描（CT）图像重建。然而，由于在临床常规中获取成对训练数据集的困难，SDL方法在临床实践中的广泛应用仍然存在障碍。近年来，自监督深度学习（SSDL）技术在CT图像重建研究中显示出巨大潜力。本文提出了一种自监督跨任务互学习（SS-CTML）框架用于CT图像重建。

多平面磁共振成像（MRI）能够为疾病诊断提供全面的三维结构信息。与多源MRI不同，多平面MRI从不同方向对人体目标区域进行扫描。这种方向上的特殊差异可能会导致传统领域泛化方法性能不佳，尤其是当不同平面的MRI还来自不同数据源时。在本文中，作者提出了ADDG，一种用于精确跨平面MRI分割的自适应领域泛化框架。ADDG通过在分割目标中注入三维形状先验，显著减轻了切片间距导致的信息损失的影响，并通过自适应数据划分策略从异构数据源中捕获与领域无关的特征差异。

知识感知子图：本文提出了一种知识感知机制，通过评估特征对非成像信息的敏感性，构建了多个特征敏感子图和一个特征不敏感子图。与传统的图结构相比，这些子图具有更精确的边权重，从而提高了过滤性能。集成Transformer模块：本文在GCN分类器中集成了Transformer模块，以捕捉FCN特征之间的内在关系。具体来说，Transformer中的自注意力机制使用可训练的前馈神经网络来学习这些内在关系，从而提高了分类器的性能。域自适应GCN：本文设计了一个域自适应GCN层，通过引入多个损失函数项来缓解多站点数据异质

检测受影响组织中的异常组织区域（ATR）在临床诊断和病理研究中至关重要。传统的自动化ATR检测方法主要基于组织学图像，但在ATR与正常组织视觉差异微弱的情况下表现不佳。最近的空间转录组学（ST）技术可以对组织区域的基因表达进行分析，为检测ATR提供了分子视角。然而，目前缺乏有效整合组织学图像和ST数据以检测ATR的方法。为了填补这一空白，作者提出了MEATRD，一种新颖的ATR检测方法，该方法整合了组织学图像和ST数据。

在计算机断层扫描（CT）成像中，由于辐射对患者可能产生有害影响，因此优化辐射剂量和图像质量之间的平衡至关重要。尽管放射科医生的主观评估被认为是医学成像中的黄金标准，但这些评估过程耗时且成本高昂。因此，客观方法，如峰值信噪比和结构相似性指数测量，常被用作替代方法。然而，这些最初为自然图像开发的指标，可能无法完全涵盖放射科医生的评估过程。因此，开发更符合放射科医生感知的基于深度学习的图像质量评估（IQA）方法的兴趣日益浓厚。这一发展的一个重大障碍是缺乏专门针对CT IQA的开源数据集和基准模型。

非侵入性地从MRI对前列腺癌进行分类有潜力通过提供临床显著疾病的早期检测来彻底改变患者护理，但迄今为止显示出有限的阳性预测价值。为了解决这个问题，我们提出了一种基于图像的深度学习方法，用于预测在随后接受活检的患者中，从筛查MRI中识别出临床显著的前列腺癌，其结果范围从良性病理到最高等级的肿瘤。具体来说，我们展示了通过多样化的组织病理学真实标签进行混合监督可以提高分类性能，尽管与基于图像的分割的一致性降低。

早期发现和治疗乳腺癌可以显著降低患者死亡率，乳腺X线摄影是早期筛查的有效方法。基于深度学习的乳腺X线摄影计算机辅助诊断（CAD）可以帮助放射科医生做出更客观和准确的判断。然而，现有方法通常依赖于具有手动分割注释的数据集。此外，由于图像尺寸大且病变比例小，许多不使用感兴趣区域（ROI）的方法大多依赖于多尺度和多特征融合模型。这些缺点增加了应用模型的劳动、金钱和计算开销。因此，提出了一种深度位置软嵌入网络与区域评分（DLSEN-RS）结构。

在断层成像上对胰腺进行自动体积分割，对胰腺疾病的诊断和随访是必要的。虽然基于CT的胰腺分割技术相对成熟，但基于MRI的分割方法却研究不足，这主要是因为缺乏公开可用的数据集、基准研究工作，以及特定领域的深度学习方法。在这项回顾性研究中，作者收集了一个大型数据集，其中包含2004年3月至2022年11月期间，从五个中心获取的767份T1加权（T1W）和T2加权（T2W）腹部MRI序列扫描，这些扫描来自499名参与者。为了进行基准测试，作者还从公开来源收集了1350名患者的CT扫描数据。

基于点云的医学配准有望提高计算效率、增强对强度变化的鲁棒性并保护数据匿名性，但受限于无监督学习中相似性度量的低效性。对合成变形进行有监督训练是一种替代方法，但又面临与真实领域之间的领域差距问题。在这项工作中，作者旨在通过领域自适应来弥合这一差距。使用平均教师模型进行自训练是解决该问题的一种成熟方法，但会受到教师模型生成的伪标签固有噪声的影响。作为改进，作者提出了一种用于点云配准的去噪师生范式，包含两种互补的去噪策略。首先，作者建议根据教师和学生配准的倒角距离对伪标签进行过滤，从而防止教师提供有害的监督。

准确的解剖标志点定位在临床诊断、治疗规划和研究中起着至关重要的作用。现有的大多数用于解剖标志点定位的深度学习方法依赖于基于热图回归的学习，该方法将标签表示生成为以每个标志点的标记坐标为中心的二维高斯分布，并将它们集成到单一空间分辨率的热图中。然而，这种方法的准确性受到热图分辨率的限制，这限制了其捕捉更精细细节的能力。在本研究中，作者引入了一种多分辨率热图学习策略，该策略使网络能够利用从每个分辨率的特征表示独立生成的多分辨率热图精确地捕捉语义特征表示，从而提高定位精度。

在医学研究中，合成医学图像并保留其结构信息至关重要。在这种情况下，解剖学内容的保留尤为重要。尽管最近通过引入实例级信息来指导图像转换取得了一些进展，但这些方法忽略了结构级表示的空间连贯性以及转换过程中内容的解剖学不变性。为解决这些问题，作者提出了分层粒度判别方法，该方法利用了医学图像中不同层次的语义信息。作者的策略采用了三个层次的判别粒度：使用脑记忆库（Brain Memory Bank）进行像素级判别；对每个脑结构进行结构级判别，并采用重加权策略来关注难样本；进行全局级判别，以确保转换过程中的解剖学一致性

在医学图像分析中，不平衡的含噪数据集分类是一个长期存在的关键问题，因为临床大规模数据集在标注和收集过程中常常存在标签噪声和分布不平衡的情况。目前分别处理标签噪声和长尾分布的方法可能会对实际应用产生负面影响。此外，阻碍标签噪声去除的类别难度因素尚未被发现，因此迫切需要一种方法来提高具有不同类别难度的含噪不平衡医学数据集的分类性能。为了解决这一矛盾，作者提出了一种鲁棒分类器，该分类器在多阶段噪声去除框架上进行训练，该框架可以共同纠正标签噪声、分布不平衡和类别难度的不利影响。所提出的噪声去除框架由多个阶段组成。

乳腺病变在超声图像中的准确自动分割是一项具有挑战性的辅助诊断任务，能够为乳腺癌筛查的自动化设备开发提供计算机视觉支持。本研究提出了一种基于对比学习的全局特征聚合网络（GFA-Net），旨在减少误检和漏检，从而为乳腺筛查自动化设备的发展提供支持。该方法首先利用特征提取层从超声图像中提取多尺度特征图，并使用空洞空间金字塔池化（ASPP）来增强特征的感受野。为了更好地利用多尺度特征之间的空间-通道互补信息，作者提出了一个全局特征聚合（GFA）模块。该模块能够有效利用浅层特征来提取深层特征。

公式化：给定两幅图像及其对应的肿瘤标签XAYAXA​YA​XBYBXB​YB​XAbXB⋅YBXA⋅1−YBYAbYBYA⋅1−YBXAb​XB​⋅YB​XA​⋅1−YB​YAb​YB​YA​⋅1−YB​XBaXA⋅YAXB⋅1−YAYBaYAYB⋅1−YAXBa​XA​⋅。

在脑网络分析中，个体层面的数据能够提供个体的生物学特征，而群体层面的数据则可以提供群体的人口统计学信息。然而，现有的方法大多分别利用个体或群体层面的特征，不可避免地忽略了脑部疾病的多层次特征。为了解决这个问题，作者提出了一个名为 KMGCN 的端到端多图神经网络模型。该模型同时利用个体和群体层面的特征进行脑网络分析。在个体层面，作者使用知识驱动和数据驱动的方法构建多图。知识驱动是指基于先验知识构建知识图谱，而数据驱动则是从数据本身学习数据图。在群体层面，作者使用成像和表型数据构建多图。此外，作者还设计了一种

三维容积中血管的自动分割是许多血管疾病定量诊断和治疗的重要步骤。现有工作对三维血管分割进行了积极研究，主要采用深度学习方法。然而，训练三维深度网络需要专家提供大量手动三维标注，获取这些标注十分费力。对于三维血管分割而言，情况尤为如此，因为血管在二维切片中分布稀疏且分散在多个切片上，可视化时还可能不连续。在这项工作中，作者提出了一种仅通过每个训练图像的一个标注二维投影和深度监督来分割三维胰腺周围动脉的新方法。

在磁共振成像（MRI）研究中，整合来自多个采集站点的成像数据可以增加样本量，但可能会引入与站点相关的变异性，从而影响后续分析的一致性。用于图像转换的深度学习方法已成为跨站点协调磁共振图像的一种解决方案。在本研究中，作者提出了IGUANe（基于统一对抗网络的图像生成），这是一个原创的3D模型，它利用域转换和风格迁移方法的优势，实现多中心脑磁共振图像的协调。IGUANe通过多对一架构扩展了CycleGAN，能够整合任意数量的域进行训练。

尽管与传统方法相比，数字切片图像能够更精确地测量和量化特征，但病理诊断中观察者之间和观察者内部仍存在显著的诊断差异。对癌细胞和组织区域进行自动、准确的分割可以简化诊断过程，深入了解癌症的进展，并帮助专家确定最有效的治疗方案。作者评估了所提出的PathoSeg模型的性能，该模型的架构包括一个改进的HRNet编码器和一个UNet++解码器，并集成了一个CBAM模块，以利用注意力机制来提高分割能力。作者证明了PathoSeg在实例分割和语义分割的定量和定性评估中都优于当前的先进（SOTA）网络。

多序列磁共振成像（MRI）在临床环境中对可靠的诊断和治疗预后具有重要价值，但由于各种原因，某些序列可能无法使用或缺失。为解决这一问题，MRI 合成是一种潜在的解决方案。最近基于深度学习的方法在结合多个可用序列进行缺失序列合成方面取得了良好的性能。尽管取得了成功，但这些方法缺乏量化不同输入序列贡献以及估计生成图像中特定区域质量的能力，这使得它们难以实际应用。

现有的交互式分割方法利用自动分割和用户交互来细化标签，与手动标注相比，显著减少了标注工作量。然而，这些方法缺乏对模糊和噪声数据的快速适应性，这在包含新冠肺炎患者肺部病变的 CT 体积数据中是一个挑战。在这项工作中，作者提出了一种自适应多尺度在线似然网络（MONet），该网络在数据高效的在线环境中，从初始自动分割和用户提供的修正交互中进行自适应学习。作者通过提出一种自适应损失来实现自适应学习，该损失将用户提供的交互影响扩展到具有相似特征的相邻区域。

针对多模态磁共振（MR）脑肿瘤分割，现有方法通常直接从输入图像中提取判别性特征以区分肿瘤子区域类别。然而，肿瘤子区域之间的相互包含导致的信息混叠问题往往被忽视。此外，现有方法通常没有针对性地突出单个肿瘤子区域的特征。为此，作者提出了一种基于肿瘤原型驱动和多专家集成的多模态MR脑肿瘤分割方法。该方法能够在肿瘤原型的指导下突出每个肿瘤子区域的特征。具体来说，为了获得具有完整信息的原型，作者提出了一种互传机制，将不同模态的特征相互传递。此外，作者设计了一种原型驱动的特征表示与融合（PFRF）方法，将学习到的原型植

结直肠癌（CRC）是一种复杂的疾病，但通过结肠镜检查可以发现息肉，从而有效预防。在临床实践中，开发用于结肠镜图像的自动息肉分割技术可以显著提高息肉检测的效率和准确性，并帮助临床医生精确定位息肉。然而，现有的分割方法存在几个明显的局限性：1）特征编码器提取的多层次特征利用不足；2）高低层特征聚合效果不佳；3）息肉边界划分不清晰。

机器学习模型在组织病理学图像分析用于疾病诊断方面的应用已得到广泛研究。然而，在患者风险分层方面的努力相对较少。目前大多数技术利用小视野（即所谓的局部特征）将组织病理学图像与患者预后联系起来，在这项工作中，作者研究了在基于图的神经网络中结合全局（即上下文）和局部特征来进行患者风险分层。所提出的网络不仅结合了精细和粗略的组织学模式，还利用它们之间的相互作用来改善风险分层。作者将所提出模型的性能与组织病理学风险分层领域的最先进（SOTA）技术在两个癌症数据集上进行了比较。

乳腺癌的早期诊断和治疗可有效降低死亡率。由于乳腺钼靶检查是乳腺癌早期诊断最常用的方法之一，因此钼靶图像的分类是计算机辅助诊断（CAD）系统的一项重要工作。随着深度学习在CAD领域的发展，深度卷积神经网络已被证明能够高质量地完成乳腺癌肿瘤斑块的分类任务，这使得以往大多数基于CNN的全场乳腺钼靶图像分类方法都依赖于感兴趣区域（ROI）或分割标注，以便模型能够定位并聚焦于小的肿瘤区域。然而，对ROI的依赖极大地限制了CAD的发展，因为获取大量可靠的ROI标注既昂贵又困难。

磁共振成像（MRI）常用于脑肿瘤分割，这对患者评估和治疗规划至关重要。为减少标注所需的人力和专业知识，人们提出了基于类激活映射（CAM）的弱监督语义分割（WSSS）方法。然而，现有的CAM方法由于步幅卷积和池化层导致分辨率较低，从而导致预测不准确。在这项研究中，作者提出了一种新颖的CAM方法——注意力多出口类激活映射（AME - CAM），该方法从多个分辨率提取激活映射，以进行分层聚合并提高预测准确性。作者在BraTS 2021数据集上评估了该方法，结果表明它优于现有技术水平的方法。

基于学习的方法对跨模态合成（CMS）和超分辨率（SR）进行了广泛研究，它们分别旨在合成所需模态的磁共振成像（MRI）图像和减小切片厚度。构建一个能够同时进行跨模态和超分辨率（CMSR）的网络是很有必要的，这样可以进一步缩小临床场景与研究之间的差距。然而，现有的工作存在一定局限性，它们大多局限于特定领域，无法灵活适应不同分辨率和模态的组合，也难以用单一网络完成CMS、SR和CMSR任务。此外，这些工作往往对混叠频率处理不当，导致细节恢复能力较差。

锥束计算机断层扫描（CBCT）是多种临床应用中的重要成像方式，但其存在图像质量下降和噪声增加等固有局限性。相比之下，计算机断层扫描（CT）具有更高的分辨率和更好的组织对比度。因此，通过CBCT到CT的合成来弥合这两种成像方式之间的差距变得至关重要。深度学习技术提升了这种合成效果，但生成对抗网络仍存在挑战。去噪扩散概率模型（Denoising Diffusion Probabilistic Models）在图像合成中成为了一种有前景的替代方法。

自动对3D CT图像中的椎骨进行标注和分割是一个复杂的多任务问题。当前的方法通常逐步进行椎骨标注和语义分割，一般包含两个独立的模型，可能会忽略不同任务间的特征交互。尽管已经提出了通过多通道预测的实例分割方法来缓解这些问题，但它们对语义信息的利用仍然不足。此外，准确模型面临的另一个挑战是如何有效区分相似的相邻椎骨并对其序列属性进行建模。在本文中，作者提出了一种语义和实例交互学习（SIIL）范式，用于同步对CT图像中的椎骨进行标注和分割。

利用多模态信息的视觉-语言预训练（VLP）已在自然领域的视觉识别中取得了巨大成功，并在胸部X光（CXR）的医学影像诊断中显示出潜力。然而，当前的工作主要集中在CXR的单一数据集上，这限制了这一强大范式在更大规模的多源CXR数据集混合上的潜力。我们发现，尽管从不同来源混合样本提供了提高模型泛化的优势，但由于源之间的异质性存在，维持每个源任务的一致优越性仍然是一个挑战。为了解决这一困境，我们设计了一个征服与分割预训练框架，称为UniChest，旨在充分利用多个CXR来源的协作优势，同时减少源异质性的负面影响。

乳腺癌是一个重大的全球公共卫生问题，根据肿瘤特征有多种治疗方案可供选择。手术后对切除标本进行病理检查，为治疗决策提供了重要信息。然而，手动选择用于组织学检查的代表性切片既费力又主观，容易导致潜在的采样误差和差异，尤其是在之前接受过化疗的癌症病例中。此外，准确识别残留肿瘤也面临着巨大挑战，因此需要系统或辅助方法来解决这一问题。为了开发用于在放射图像上自动检测癌症的深度学习算法，进行放射病理学配准至关重要，它能确保生成准确标记的真实数据。

高通量 3D 细胞核实例分割（NIS）对于理解单个细胞的复杂结构和功能以及它们在大脑更大组织环境中的相互作用至关重要。尽管使用最先进的机器学习技术在小图像堆栈中实现准确的 NIS 方面取得了显著进展，但很少有人尝试将这种方法扩展到从光片显微镜进行全脑 NIS。尽管这一关键研究领域在神经科学领域具有重要意义，但在很大程度上被忽视了。为了应对这一挑战，作者提出了一种基于知识图谱模型的高效深度拼接神经网络，该模型用于表征细胞核之间的 3D 上下文关系。

在胸部CT图像中准确且完整地分割气道对于肺部疾病的定量评估和肺介入手术的便利至关重要。尽管深度学习在医学图像分割方面取得了显著进展，但保持气道连续性仍然特别具有挑战性。这一困难主要源于气道结构的小尺寸和分散性质，以及CT扫描中的类别不平衡。为了应对这些挑战，作者设计了一个多尺度嵌套残差UNet（MNR-UNet），将多尺度输入和残差多尺度模块（RMM）整合到一个嵌套的残差框架中，以增强信息流动，有效地捕获小气道的复杂细节，并减轻梯度消失问题。