一、《Childhood Leukemia Classification via Information Bottleneck Enhanced Hierarchical Multi-Instance Learning》
1、Abstract：
该论文是关于一种新的方法，用于改进现有的白血病分类方法，特别是通过应用多实例学习（MIL）和信息瓶颈（IB）原则。首先，该方法解决了现有深度学习方法在白血病分类中的两个主要限制。这些限制包括需要大规模数据集和专家在细胞水平上的注释才能获得良好的结果，以及这些方法通常在泛化方面表现不佳。其次，该方法通过将BM细胞形态学检查视为多类细胞分类任务来解决不能利用不同层次白血病亚型之间的相关性。这段文本提出了一种新的分层MIL框架，并配备了IB（信息瓶颈），以解决上述限制。首先，为了处理患者级别的标签，该分层MIL框架使用基于注意力的学习来识别在不同层次上具有高诊断价值的细胞，用于白血病分类。然后，遵循信息瓶颈原则，该文提出了一个分层的信息瓶颈，以约束和优化不同层次的表示，从而提高准确性和泛化性。该文通过将该框架应用于包含儿童急性白血病的大型数据集（包含相应的BM涂片图像和临床报告）来证明其有效性。结果表明，该框架能够在不需要细胞水平注释的情况下识别出与诊断相关的细胞，并且优于其他比较方法。此外，在独立测试组上进行的评估进一步证明了该框架的高泛化性。
总的来说，这段文本介绍了一种新的方法，旨在通过应用多实例学习和信息瓶颈原则来改进现有的白血病分类方法。这种方法能够提高准确性和泛化性，同时减少了对大规模数据集和专家注释的依赖。
2、信息瓶颈理论：
参考博客https://blog.csdn.net/qq_45249273/article/details/127528074
3、Methods：
H-MIL总体框架，其包含三个特殊模块和三个分类分支，包括：a) 分层特征提取器；b) 分层注意力映射；c) 分层信息瓶颈，粗粒度和细粒度分类分支；以及d) 弱监督细胞分类分支
4、Result：
二、《Interventional Bag Multi-Instance Learning on Whole-Slide Pathological Images》
摘自：CVPR2023
https://blog.csdn.net/weixin_49592304/article/details/134162798?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170055998916800222852850%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=170055998916800222852850&biz_id=&utm_medium=distribute.pc_search_result.none-task-code-2~all~first_rank_ecpm_v1~rank_v31_ecpm-2-134162798-0-null-null.142%5Ev96%5Epc_search_result_base9&utm_term=Interventional%20Bag%20Multi-Instance%20Learning%20on%20Whole-Slide%20Pathological%20Images1、Abstract：
多示例学习是解决千兆像素分辨力和幻灯片级别标签的全幻灯片病理图像（whole-slide pathological images , WSIs）的有效工具。以往的主流MIL方法主要关注改进特征提取器以及聚合器。然而这样的方法存在这样的缺陷：包的上下文先验(contextual prior)可能会影响模型捕捉包与标签之间的虚假相关性(spurious correlations)。 该缺陷是限制现有MIL方法性能的混杂因素。
本文提出了新的方案：介入式的包多示例学习(Interventional Bag Multi-Instance
Learning , IBMIL)，以实现卷积包级别的预测。
与传统的基于可能性的策略不同，该方案基于后门调节(backdoor adjustment)实现了介入学习，因此能够抑制包的上下文先验对相关性的影响。
IBMIL的机制与现有MIL包算法完全不同。因此，IBMIL能够为现有方案带来一致的性能提升，实现最先进的新性能。
总的来说，该文引入了一个因果逻辑，通过抑制bag层级的上下文先验知识来提升MIL的效果；
其中：
X→Y：该路径表明MIL模型可以通过包的内容（如关键实例）来预测包标签；
C → X C→XC→X：该路径表明了WSI的生成。由于组织制备、染色方案和数字扫描仪的差异，WSI的外观可能会受到显著影响，从而可能引入偏差。
C → Y C→YC→Y：该路径表明预测包标签收到数据集的上下文先验信息的影响。
2、Methods:
增添的核心公式为：通过后门调整进行因果干预；
3、Results:
三、《Interventional Multi-Instance Learning with Deconfounded Instance-Level Prediction》
四、《MD-IQA : LEARNING MULTI-SCALE DISTRIBUTED IMAGE QUALITY ASSESSMENT WITH SEMI SUPERVISED LEARNING FOR LOW DOSE CT》
1、Abstract：
图像质量评估（IQA）在优化辐射剂量和开发新型医学成像技术中起着至关重要的作用。在计算机断层扫描（CT）中，传统IQA方法依靠手工制作特征，在总结图像质量主观感知体验方面存在局限性。
本文提出了一种多尺度分布回归方法，通过约束输出分布来预测质量分数，从而提高了模型泛化能力。此外，我们设计了一个双分支对齐网络，以增强特征提取能力。另外，通过利用伪标签对未标记数据进行引导来引入半监督学习。大量的定性实验证明了我们的方法在推进基于深度学习的医学IQA方面是有效的。
2、Conclusion：
本文提出了一种多尺度分布回归模型与半监督学习(MD-IQA)相结合的方法，用于准确评估低剂量CT图像的图像质量。多尺度分布有助于网络学习更稳健、更准确的表示。伪标签进一步提高了MD-IQA在有限的标注数据下的性能。在公开的LD-CTIQAC2023挑战数据集上进行的全面实验验证了我们提出的方法的有效性。当评估低剂量CT图像时，MD-IQA优于几种现有的自然图像质量评估方法。将来，将我们的方法应用于低剂量CT重建任务并进行评估会很有趣。
3、Results：
五、《SYNTHETICALLY ENHANCED: UNVEILING SYNTHETIC DATA’S POTENTIAL IN MEDICAL IMAGING RESEARCH》
1、Abstract：
胸部X光（CXR）是最常见的医学影像学检查，用于诊断多种疾病。本研究探讨了使用Diffusion Models补充合成数据，对深度学习（DL）分类器在CXR分析中的性能的影响。我们使用了三个数据集：CheXpert、MIMIC-CXR和Emory胸部X光片，训练条件降噪扩散概率模型（DDPM）生成合成的正面X射线照片。我们的方法确保合成图像反映了原始数据的的人口统计和病理特征。对内部和外部数据集上的分类器性能进行评估表明，合成数据的补充提高了模型准确率，特别是在检测不太常见的病理上。此外，仅在合成数据上训练的模型接近在真实数据上训练的模型的性能。这表明合成数据可以潜在地弥补训练稳健的DL模型时的真实数据短缺。然而，尽管结果很有希望，但真实数据的优势依然存在。
2、Introduction：
本研究的目的是在医学影像研究中调查合成数据扩增的效果，并采用逐步方法论来了解使用模型开发的有利因素。为此，我们首先在CheXpert数据集的一个子集上训练有条件DDPM，并找到数据集扩增的最佳超参数。然后我们创建了一个与原始数据集具有相同人口统计和病理特征的合成数据集，其大小最多可达到原始数据集的10倍。通过使用混合了真实和合成数据的训练，训练了几个病理分类器，并在内部和外部资源上测试了其性能，我们展示了合成数据的潜力和局限性，并调查了其失败模式。
3、Result：
图2:使用不同种子的扩散模型得到的真实图像和合成图像的示例。呈现的病理是模型的实际条件。
图3:在真实数据训练、真实数据辅以合成数据、仅在不同测试集上合成数据的模型性能评估:(A) CheXpert test、(B) MIMIC-CXR、(C) Emory Chest X-ray。所有图中的红线表示基线分类器模型(仅在CheXpert训练集的真实数据上训练)在目标数据集上的性能。
六、《Segment Anything Model with Uncertainty Rectification for Auto-Prompting Medical Image Segmentation》
1、Abstract：
SAM的引入标志着提示驱动图像分割取得了重大进展。然而，将SAM应用于医学图像分割仍需要手动提示目标结构才能获得可接受的性能，这仍然是劳动密集型的。尽管有人试图通过自动提示将SAM转化为完全自动的方式，但它在医学成像领域仍然表现出较差的性能和可靠性。
本文提出了一种名为“UR-SAM”的不确定性校正SAM框架，以增强自动提示医学图像分割的鲁棒性和可靠性。我们的方法结合了提示增强模块来估计预测的分布并生成不确定性图，以及基于不确定性的校正模块来进一步增强SAM的性能。在两个涵盖35个器官分割的公共3D医学数据集上进行的大量实验表明，无需补充训练或微调，我们的方法在不进行手动提示的情况下进一步提高了分割性能，最多提高了10.7%和13.8%的Dice相似系数，证明了其在医学图像分割中的效率和广泛能力。
2、Conclusion&Dicussion：
在这项工作中，我们提出了UR-SAM，这是一个用于自动提示医学图像分割的不确定性校正SAM框架，它利用生成边界框提示的提示增强来进行不确定性评估，并利用估计的不确定性来纠正分割结果以提高准确性。 此外，不确定性地图可以帮助识别潜在的分割错误并支持进一步的分析，为临床医生需要手动关注和改进的领域提供有价值的指导。 该框架还可以与交互机制集成，允许用户选择和修改需要改进的特定区域。
此外，我们观察到MedSAM在某些方面不如SAM表现得好，这与[18]中（[18]Wenhui Lei, Xu Wei, Xiaofan Zhang, Kang Li, and Shaoting Zhang. Medlsam: Localize and segment anything model for 3d medical images. arXiv preprint arXiv:2306.14752, 2023. 1, 2, 3, 5, 8）的观察结果一致。 这表明，尽管在相对较大的医学数据集上进行过微调，但当应用于先前未见过的新数据集时，该模型并不始终超越经典的SAM。 尽管我们的方法已经证明了显著的改进，但仍有一些方面可以进一步改进。 一个值得注意的限制是我们使用相对简单的策略来分类具有高不确定性的区域的像素，这仅依赖于像素的强度而没有考虑相邻像素的信息。 因此，当涉及到分割一些具有挑战性的类别时，仍然会产生不满意的结果。 未来的工作将侧重于在不同类之间合并像素对比学习并整合更最近的医学适应SAM[3,33]，以进行更全面的评估。 此外，利用训练过程中的不确定性来选择更具代表性的区域以进一步增强模型性能[31,34]将是有趣的。
3、Result：
表3.对使用SAM / MedSAM主干网络的3D头颈器官分割的StructSeg数据集中不同校正方法进行了定量评估，并与自动提示和手动提示设置进行了比较。更高的值代表更好的分割性能。
表4.对使用SAM / MedSAM主干网络的3D腹部器官分割的FLARE 22数据集中不同校正方法进行了定量评估，并与自动提示和手动提示设置进行了比较。更高的值代表更好的分割性能。
七、《Shifting to Machine Supervision: Annotation-Efficient Semi and Self-Supervised Learning for Automatic Medical Image Segmentation and Classification》
1、Abstract：
临床治疗和研究的进步受到监督学习技术的限制，这些技术依赖于大量标注数据，这是一项昂贵的工作，需要许多临床专家的时间。
在本文中，我们提出使用无监督和半监督学习。 这些技术执行无标签的辅助任务，与完全监督技术相比，扩大机器监督的规模更容易。 本文提出了S4MI（Self-Supervision and Semi-Supervision for Medical Imaging），我们的管道利用了自我和半监督学习方面的进展。 我们在三个医学成像数据集上对它们进行基准测试，以分析它们对分类和分割的功效。 这种具有10％注释的自监督学习的进步对于大多数数据集的分类比具有100％注释的效果更好。 半监督方法对于分割产生了有利的结果，使用所有三个数据集中50％更少的标签优于完全监督方法。
2、Conclusion：
我们实验研究的主要焦点围绕着两个基本的医学成像任务，即分类和分割。值得注意的是，我们的研究结果表明，从仅基于迁移学习的监督方法到我们称之为S4MI（Self-Supervision and Semi-Supervision for Medical Imaging）的机器监督框架的转变产生了令人鼓舞的结果。在分类中，我们的实证结果表明，自监督训练在卷积神经网络（CNN）和Transformer模型中表现优于传统的监督方法。 此外，在两种自监督技术的比较分析中，CASS表现出优越性，与DINO相比，在几乎所有情况下都表现出更好的性能。在分割中利用减少的监督产生了有利的结果。具体来说，应用半监督方法如[8]所述，导致在考虑的三个数据集的所有标签分数下性能都显著提高。 我们的研究得出了一个值得注意的推论，其中通过利用无监督算法完全消除了监督信号，仅在皮肌炎数据集的上下文中与10%监督的架构相比性能相当，这一观察强调了无监督方法在不同情境下的固有能力。
根据对我们实验结果的全面分析，采用机器监督（如我们所研究的S4MI流程）可以减少对人类监督的依赖，并在医学图像分析的时间和准确性方面具有显著优势。我们研究的结果为医学成像和有限监督技术提供了重要的实证贡献，从而刺激了该领域的未来研究。我们的S4MI流程的开源代码分发将通过节省标记时间并改善图像分析来支持其他研究者的努力。这反过来又将促进医疗解决方案的进步，最终提高患者护理的效果。我们乐观地认为，我们的研究将作为医学成像领域内实质性讨论和合作努力的催化剂，从而推动这一关键领域的进步。
3、Result：
表1 DINO、CASS和监督（使用ImageNet初始化的转移学习）方法在Dermatomyositis、Dermofit和ISIC 2017数据集上的结果。在此表中，我们比较了测试集上的F1分数。在所有情况下，自监督预训练（CASS或DINO）在ImageNet转移学习基准上的表现均优于。此外，在CASS和DINO之间，我们观察到CASS以其结构不变性的关注点在三个数据集的ResNet和ViT中几乎所有标签分数都优于DINO。
图5. 在这个图中，我们比较了全监督、半监督和无监督架构在三个数据集上的分割性能。这里，Rn34代表ResNet-34，而ST代表Swin-U-Net。 由于[9]是一种无监督的方法，它不需要任何标签来进行微调。因此，我们展示了使用ResNet-34骨干网络在0%标签分数下使用PiCIE的结果。 我们观察到半监督的方法优于全监督的方法，使用的图像标签数量减少了50%。
八、《GMISeg: General Medical Image Segmentation without Re-Training》
1、Abstract：
尽管深度学习模型已成为医学图像分割的主要方法，但它们往往不能扩展到涉及新解剖结构、图像形状或标签的未知分割任务。对于新的分割任务，研究人员通常需要重新训练或微调模型，这是耗时的，并且对临床研究人员构成了一个重大障碍，他们往往缺乏训练神经网络的资源和专业知识。因此，我们提出了一种通用的方法，可以解决未知的医学图像分割任务，而不需要额外的训练。给出了一组图像的示例集和用于定义新分割任务的提示，GMISeg应用了基于所提出方法的SAM（分割任何模型）图像编码器的新颖低秩微调策略，并与提示编码器和掩码解码器一起微调标记的数据集，而不需要额外的训练。为了实现新任务的泛化，我们使用了具有不同成像模式的医学图像数据集。我们在不同的数据集上使用不同的解剖和成像模式来训练和泛化GMISeg。我们已经证明，GMISeg在未知任务上的表现优于最新方法，并对所提出方法的重要性能进行了全面的分析和总结。
2、Conclusion：
我们介绍了GMISeg，这是一种针对学习医学图像分割的单任务不可知模型。我们使用了大量不同的、可公开访问的医学分割数据集来训练和测试GMISeg，它可以泛化到未知的解剖和任务。我们提出了一种新颖的低秩微调策略，通过提取和合并松散的层次结构来提高模型的抗遗忘能力，并且它只会在定制过程中添加和更新少量的参数，从而提高模型的学习能力和泛化能力。
在我们的实验中，GMISeg在所有数据集上的结果都比最新的泛化的医学图像分割方法要好得多。通过广泛深入的研究，我们得出的结论是，GMISeg的性能在很大程度上取决于训练过程中的任务多样性以及推理过程中的支持集大小。
在本工作中，我们使用2D数据和单个标签来突出和分析GMISeg的核心功能。未来，我们计划使用2.5D或3D模型和多标签地图分割3D体素来扩展模型。GMISeg有望成功适应科学家和临床研究人员确定的新分割任务，而不需要对他们来说通常不切实际的模型重新训练。
3、Result：
表2：性能总结。我们报告了每个模型在每个数据集上的平均Dice分数，Jaccard分数和ASD值。
九、《High-resolution Image-based Malware Classification using Multiple Instance Learning》
1、Abstract：
这篇论文提出了一种新颖的方法，使用高分辨率灰度图像和多示例学习（MIL）来克服对抗二元扩大，将恶意软件分类。当前基于可视化的恶意软件分类方法主要依赖于输入的有损变换，例如，处理大的可变大小的图像。通过实证分析和实验表明，这些方法会导致关键的信息损失，可以利用。所提出的解决方案将图像划分为补丁，并使用基于嵌入的多实例学习与卷积神经网络和注意力聚合函数进行分类。该实现是在Microsoft恶意软件分类数据集上评估的，与22.8%的basline相比，在敌对扩大的样本中达到了高达96.6%的准确率。
2、Conclusion：
这篇论文调查了针对基于可视化的恶意软件分类模型的对抗性扩大攻击，并提出了一种使用多示例学习克服这些攻击的方法。证明实践中和文献中常用的调整大小操作是脆弱的，并且提出的解决方案表明，在分类对抗性恶意软件样本时，可以达到高出很多的准确性。
结果表明，基于调整大小的模型能够准确地分类恶意软件家族，但当用对抗性扩大的恶意软件进行测试时，它们的性能下降高达97.8%（F1分数）。另一方面，基于attention实例聚合的MIL模型在标准恶意软件样本分类方面表现出与resizing-models相似的性能，但在对抗性示例方面仅下降7.7%至24.4%。MIL模型能够在一定程度上克服对抗性扩大的攻击，而基线模型则很脆弱。然而，这要以增加训练时间和推理时间为代价。虽然将MIL范式应用于此类恶意软件分类的结果很有希望，但仍有很多改进空间。
基于图像的恶意软件分类的主要优点之一是速度快，可以进行有效的规模化分类。虽然提出的MIL方法比resizing-based methods慢，但它仍然比大多数静态和动态方法快得多，仅需要4.67毫秒即可对标准恶意软件样本进行分类。此外，基于图像的分类的其他优点仍然存在，例如传统的混淆阻力以及平台独立性。虽然静态签名无法泛化【41】，并且动态分析可能因训练数据与实际环境之间的差异而受到影响【42】，但分类byteplot是一种替代方法，不会面临相同的问题。
我们的结论是，基于图像的恶意软件分类对于快速有效地对大量恶意软件样本进行分类非常有用，但与每个机器学习解决方案一样，它也有自己的弱点，不应该单独使用。将基于图像的技术与其他具有更多技术特异性和细节的静态和动态技术相结合，将产生更完整的系统。
提出的MIL体系结构在克服对抗性扩大攻击方面表现出良好的性能，也可用于其他领域来处理大小不等的图像。然而，对抗性扩大攻击很少见，因此使用MIL模型的代价可能超过其带来的好处。在数据丢失的情况下，例如来自Microsoft和Intel的工作【10】，使用提出的方法的优点将更加显著。
3、Result：
表2. 模型在Microsoft恶意软件分类数据集上的评估结果以及文献中的结果。需要注意的是，[2]是在一个不同的数据集(MALIMG)上进行训练的。F1-score是宏平均的。平均推理速度是网络延迟，括号内是总端到端时间，包括图像调整大小、袋创建和对抗性扩大等开销。
十、《Deep learning-based detection of morphological features associated with hypoxia in H&E breast cancer whole slide images》
1、Abstract：
当肿瘤细胞生长超过其血液供应时，缺氧发生，导致肿瘤内的低氧水平区域。计算缺氧水平可能是了解肿瘤生物学、临床进展和治疗反应的重要一步。这项研究展示了深度学习在乳腺癌组织形态学背景下评估缺氧的新应用。更确切地说，我们证明了弱监督深度学习（WSDL）模型可以准确地检测常规苏木精和伊红（H&E）全载玻片图像（WSI）中的缺氧相关特征。我们在来自乳腺癌原发部位（n=240）的WSI H&E组织的瓦片上训练和评估了深度多实例学习模型，在遗漏的测试集上获得了平均0.87的AUC。我们还显示了显着的差异，缺氧和常氧组织区域的功能区分的WSDL模型。这种DL缺氧H&E WSI检测模型可以潜在地扩展到其他肿瘤类型，并且容易地集成到病理学工作流程中，而不需要额外的昂贵测定。
在这里，我们展示了一种新型弱监督深度学习（WSDL）应用，用于仅通过苏木精和伊红（H&E）组织学检测乳腺癌组织中的缺氧模式。与完全监督的方法不同，弱监督方法不一定需要组织或细胞水平的手动注释。更准确地说，我们提出了一个WSDL模型（HypOxNet），可以评估肿瘤组织形态学中的缺氧情况，该模型仅使用与HRG表达相对应的弱样本级标签进行训练。
2、Conclusion：
3、Methods：
图1.低氧预测神经网络（HypOxNet）。（a）方法。全切片TCGA数据库中的乳腺活检图像首先被分成小块。通过一个带有注意力池层的VGG-19多实例学习卷积网络。这个网络被训练来根据砖块的缺氧程度将砖块分类为缺氧或常氧的特征。
4、Result：
我们进一步使用这些补丁来训练具有注意力池化的多实例学习（MIL）卷积神经网络模型，以预测样本级标签（图1a）。更具体地说，HypoOxNet模型被训练来区分从阳性样本（根据MSigDB为缺氧）中提取的补丁实例的“袋子”和从阴性样本（正常氧）中提取的补丁实例的“袋子”。我们训练并验证了我们的WSDL HypOxNet模型，以预测来自TCGA数据库10的120个正常氧样本和120个缺氧样本的组织图像补丁的缺氧状态。该数据集被随机分为训练集（2/3）和测试集（1/3）。3折交叉验证得到的平均AUC为0.868±0.038（图1b）。图1c显示了其中一个折的混淆矩阵。
（d）-（e）-（f）通过DL模型将瓷砖中的巨噬细胞分类为常氧（蓝色）和缺氧（橙色）的所选二元形状描述符的箱线图。：p<0.05，：p<0.01，：p<0.001，****：p<0.0001。
十一、《Multiple Instance Learning via Iterative Self-Paced Supervised Contrastive Learning》
摘自：CVPR2023
参考博客：
1、Abstract：
当只有包级别标签可用时，为单个示例学习表示是多个示例学习（MIL）中的一个基本挑战。最近的工作使用对比自我监督学习（CSSL）取得了有希望的结果，该学习学会了将两个不同随机选择的实例的表示推远。不幸的是，在现实世界的应用中，如医学图像分类，经常存在类不平衡，因此随机选择的实例大多属于同一主要类别，这阻碍了CSSL学习类间差异。为了解决这个问题，我们提出了一种新的框架，即迭代自定步长监督对比学习用于MIL表示（ItS2CLR），它通过利用从包级别标签派生的实例级别伪标签来改善学习的表示。该框架采用了一种新颖的自定步长采样策略来确保伪标签的准确性。我们在三个医学数据集上评估了ItS2CLR，结果表明它在实例级别上提高了伪标签和表示的质量，并且在包和实例级别上都优于现有的MIL方法。
2、Conclusion：
我们提出了ItS2CLR——一种新的MIL框架，其中使用从MIL聚合器中提取的伪标签迭代改进实例特征。该框架将监督对比学习与自定节奏的采样方案相结合，以确保伪标签的准确性。
我们证明，在与癌症诊断相关的三个真实世界医学数据集（两个组织病理学数据集和一个乳腺超声数据集）上，所提出的方法在袋级和实例级精度方面优于现有MIL方法。
在一系列受控实验中，我们表明ItS2CLR在应用于不同的特征提取架构以及与不同的聚合器相结合时是有效的。
3、Methods：
4、Result：
*十二、《Rethinking Multiple Instance Learning for Whole Slide Image Classification》
摘自: 2023 IEEE TMI
参考博客：
1、Abstract：
2、Conclusion：
3、Result：
*十三、《Long-MIL: Scaling Long Contextual Multiple Instance Learning for Histopathology Whole Slide Image Analysis》
1、Abstract：
组织学图像分析是肿瘤临床诊断的金标准。在医生的日常工作和计算机辅助诊断中，组织病理学组织的全切片图像（WSI）被用于分析。由于WSI的分辨率非常大，以往的方法一般将WSI分成大量的小块，然后通过多实例学习（MIL）将WSI中的所有小块聚集起来，在开发计算机辅助诊断工具时进行切片级预测。然而，大多数以前的WSI-MIL模型使用全局注意力而没有成对交互和任何位置信息，或者具有绝对位置嵌入的自注意力不能很好地处理形状变化的大型WSI，例如，模型部署后的测试WSI可能大于训练WSI，因为模型开发集总是有限的，这是由于组织病理学WSI收集的困难。为了解决这个问题，在本文中，我们提出了修改位置嵌入形状变化的长上下文WSI通过引入线性偏差到注意力，并适应它从1-D长序列到2-D长上下文WSI，这有助于模型外推位置嵌入看不见的或欠拟合的位置。我们进一步使用Flash-Attention模块来解决Transformer的计算复杂度，与以前的注意力近似工作相比，它也保持了完整的自注意力性能。我们的方法，长上下文MIL（Long-MIL）进行了广泛的实验，包括4个数据集，包括WSI分类和生存预测任务，以验证形状变化的WSI的优越性。源代码将很快开放
2、Conclusion：
在本工作中，我们提出的Long-contextual MIL (Long-MIL)方法解决了组织病理学图像分析中的挑战，在处理形状变化的Whole Slide Images (WSI)方面提供了优越的性能。通过将线性偏差引入注意力和利用Flash-Attention模块，我们的方法分别增强了位置嵌入并解决了计算复杂性。对四个数据集进行的广泛评估证实了Long-MIL在WSI分类和生存预测任务中的有效性。鉴于我们方法对长序列建模的强大能力，未来我们将尝试将其适应更长的序列和更高的分辨率，从而获得更强的信息。此外，我们将努力解决多模态生存预测中尚未解决的问题，以挽救更多生命。
3、Result：
表1.使用两种预训练嵌入在BRACS上进行滑块级肿瘤亚型分类。上半部分.各种WSI-MIL架构（无不同实例之间的交互）。下半部分.之前最先进的模型TransMIL（使用线性自注意力和可学习的绝对位置嵌入），以及我们提出的FlashAttention和相对位置嵌入模块。
表2.使用两种预训练嵌入在TCGA-BRCA上进行滑块级肿瘤亚型分类。我们展示了各种WSI-MIL架构，包括全局注意力、线性自注意力、可学习的绝对位置嵌入以及我们提出的带有相对位置嵌入模块的FlashAttention。
表3.基于HIPT[9]预训练嵌入和各种WSI-MIL架构的滑块级生存预测，包括全局注意力、GCN、线性注意力（带有可学习绝对嵌入的TransMIL）和自注意力（带有绝对嵌入的HIPT）。我们的Flash Attention与外推相对位置嵌入（2d-ALiBi）表现出色。
十四、《FUSENET: SELF-SUPERVISED DUAL-PATH NETWORK FOR MEDICAL IMAGE SEGMENTATION》
1、Abstract：
语义分割是计算机视觉中的一项关键任务，通常依赖于劳动密集型和昂贵的注释数据集进行训练。为了应对这一挑战，我们引入了FuseNet，这是一个用于自监督语义分割的双流框架，无需手动注释。FuseNet利用原始图像和增强图像之间共享的语义依赖关系来创建聚类空间，有效地将像素分配到语义相关的聚类，并最终生成分割图。此外，FuseNet采用了跨模态融合技术，通过用增强图像替换文本数据来扩展CLIP的原理。这种方法使模型能够学习复杂的视觉表示，增强了对类似于CLIP的文本不变性的变化的鲁棒性。为了进一步改善边缘对齐和相邻像素之间的空间一致性，我们引入了边缘细化损失。该损失函数考虑边缘信息以增强空间相干性，从而促进具有相似视觉特征的附近像素的分组。在皮肤病变和肺部分割数据集上的实验证明了该方法的有效性。
2、Conclusion：
FuseNet在具有挑战性的医学图像分割场景中表现出色，大幅提高了分割质量。在DSC得分、HM和XOR指标方面，它优于目前最先进的方法。可视化结果显示，FuseNet能够提高真阳性并减少假阳性，推动自监督医学图像分析的发展，并减少对昂贵的手动注释的需求。
3、Result：
表1：在PH2和Lung数据集上，我们提出的方法与其他最先进方法在性能上的比较
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
