qq_46056318的博客

CamoFormer：用于隐藏目标检测的掩蔽可分离注意力TPAMI 2024PaperCode如何从背景中识别和分割隐藏的对象是一个挑战。受transformer中多头自注意的启发，提出了一种简单的掩蔽可分离注意（MSA）伪装目标检测算法。我们首先将多头自注意力分为三个部分，分别负责使用不同的掩模策略将被遮挡的物体从背景中区分出来。此外，我们建议捕获高分辨率的语义表示逐步基于一个简单的自上而下的解码器与MSA，以达到精确的分割结果。这些结构加上骨干编码器形成了一个新的模型，称为CamoFormer。

高分辨率迭代反馈网络在隐藏目标检测中的应用AAAI 2023PaperCode对于目标检测算法和人类来说，发现视觉上被同化到背景中的隐藏对象是很棘手的，人类通常会被前景对象和背景环境之间完美的内在相似性所迷惑或欺骗。为了解决这个问题，我们的目标是提取高分辨率的纹理细节，以避免细节退化，导致边缘和边界的视觉模糊。我们引入了一种新的HitNet，以迭代反馈的方式通过高分辨率特征来细化低分辨率表示，本质上是多尺度分辨率之间的全局循环连接。

大感受野的小波卷积2024 EECVPaperCode近年来，人们试图通过增加卷积神经网络（ConvolutionalNeuralNets，CNNs）的核尺寸来模拟视觉变换器（VisionTransformers，ViTs）的自我注意块的全局感受野。然而，这种方法很快就达到了上限和饱和，在实现了一个全局感受野之前。本文证明，通过利用小波变换（WT），有可能获得非常大的感受野，而不遭受过度参数化，例如，对于k × k的感受野，所提出的方法中的可训练参数的数目仅随k的对数增长。

基于频域-空域纠缠学习的视频目标检测PaperCode伪装目标检测是计算机视觉领域的一个研究热点。主要的挑战在于伪装物体与其周围环境在空间域中的高度相似性，使得识别变得困难。现有的方法试图通过最大化空间特征的区分能力来降低像素相似性的影响，设计复杂，但往往忽略了特征在空间域的敏感性和局部性，导致结果不理想。提出了一种新的方法来解决这一问题，该方法将频率域。

更快的细分市场：面向移动的应用的轻量级SAM2023年arxivPaperCodeSegment Anything Model（SAM）因其令人印象深刻的zero-shot传输性能和众多视觉应用（如具有细粒度控制的图像编辑）的高通用性而引起了广泛关注。许多这样的应用程序需要在资源受限的边缘设备上运行，比如移动设备。在这项工作中，我们的目标是使SAM移动设备友好，通过把重量级图像编码器替换为轻量级的。一训练这样一个新的SAM会导致不满意的性能，特别是当有限的训练资源。

Surgical-DeSAM：解耦SAM用于机器人手术中的器械分割2024年 International Journal of Computer Assisted Radiology and SurgeryCodePaper最近的SAM在各种应用中展示了点、文本或边界框提示的令人印象深刻的性能。然而，在安全关键的手术任务中，提示是不可能的，这是由于（1）缺乏用于监督学习的每帧提示，（2）在实时跟踪应用中逐帧提示是不现实的，以及（3）注释离线应用的提示是昂贵的。

Lite-SAM是您实际上所需的分割一切的工具2024年 arxivPaperSegment Anything模型（SAM）以其优越的性能给分割领域带来了重大变化，但其对计算资源的巨大需求仍然是一个限制因素。MobileSAM、Edge-SAM、MobileSAM-v2等许多作品都探索了轻量级解决方案。然而，他们使用传统的网格搜索采样策略或两阶段串联方法，不允许端到端训练，严重限制了分段一切（SegEvery）的性能。

ASPS：用于息肉分割的扩展SAM模型2024年 arxivPaperCode息肉分割在结直肠癌诊断中起着至关重要的作用。最近，Segment Anything Model(SAM)的出现利用其在大规模数据集上的强大预训练能力，为息肉分割带来了前所未有的潜力。然而，由于自然图像和内窥镜图像之间的区域差距，SAM在实现有效的息肉分割方面遇到了两个限制。首先，它的基于变压器的结构优先考虑全局和低频信息，可能会忽略局部细节，并在学习的特征中引入偏差。

从叉子到钳子：一种新的手术器械实例分割框架2023年WACVPaperCode微创手术和相关应用需要在实例级别对手术工具进行分类和分割。外科手术工具外形相似，又长又细，并以一定的角度握持。在自然图像上训练的用于仪器分割的最新(SOTA)实例分割模型的微调难以区分仪器类别。虽然包围盒（框）和分割掩码通常是准确的，但分类头还是会错误地分类了手术器械的类别标签。我们提出了一种新的神经网络框架，它在现有的实例分割模型的基础上增加了一个分类模块作为一个新的阶段。本模块专门改进现有模型生成的仪器掩模的分类。

SAMUS：一种适用于临床友好和可推广的超声图像分割模型arxiv 2023年PaperCodeSAM是一种著名的通用图像分割模型，近年来在医学图像分割领域引起了极大的关注。尽管SAM在自然图像上有显著的性能，但在面对医学图像时，尤其是涉及低对比度、边界模糊、形状复杂和尺寸较小的对象时，SAM的性能显著下降和泛化有限。本文提出了一种适用于超声图像分割的通用模型SAMUS。与以往基于SAM的通用模型相比，SAMUS不仅追求更好的通用性，还追求更低的部署成本，使其更适合临床应用。

PA-SAM：用于高质量图像分割的提示适配器SAM2024年 ICMEPaperCodeSegment Anything Model，SAM在各种图像分割任务中表现出了优异的性能。尽管SAM接受了超过10亿个mask的训练，但在许多场景中，尤其是在现实世界的背景下，SAM在面具预测质量方面面临着挑战。本文在SAM中引入了一种新颖的提示驱动适配器，即Prompt Adapter Segment Any Model(PA-SAM)，旨在提高原有SAM的分割掩码质量。

LeSAM：适用于医学病变分割的任意分割模型2024年发表于 JBHIPaper无codeSegment Anything Model，SAM是自然图像分割领域的一个基础性模型，取得了令人印象深刻的成果。然而，对于医学图像分割，它的性能仍然是次优的，特别是在描绘不规则形状和低对比度的病变时。这可以归因于医学图像和自然图像之间的显著域差距，而SAM最初是在自然图像上进行训练的。本文提出了一种专门为病变分割量身定做的SAM算法，称为LeSAM。LeSAM首先通过一个高效的自适应模块。

通过分层解码释放 SAM 在医学适应方面的潜力2024年 arxivPaperCodeSAM 因其强的分割能力和直观的基于提示的工作流程而受到广泛关注。然而，它在医学成像中的应用提出了挑战，要么需要大量的培训成本和广泛的医学数据集来进行完整的模型微调，要么需要高质量的提示以获得最佳性能。本文介绍了 H-SAM：一种 SAM 的无提示改编，旨在通过两阶段分层解码过程对医学图像进行高效微调。在初始阶段，H-SAM采用SAM的原始解码器来生成先验概率掩模，指导第二阶段更复杂的解码过程。

增强手术器械分割：将Vision Transformer见解与适配器集成其他信息未知PaperCode目的：在手术图像分割中，一个主要的挑战是收集大规模注释数据集所需的大量时间和资源。鉴于该领域注释数据的稀缺性，我们的工作旨在开发一种模型，该模型通过在有限的数据集上进行训练来实现具有竞争力的性能，同时还增强了模型在各种手术场景中的鲁棒性。研究方法：我们提出了一种方法，利用预训练的视觉变换器（ViT）和卷积神经网络（CNN）的数据效率的优势。具体来说，我们演示了CNN分割模型如何用作冻结ViT。

MAS-SAM：利用聚合特征分割任何海洋动物PaperCode(空的)最近，分割任何模型（SAM）在生成高质量的对象掩模和实现零拍摄图像分割方面表现出卓越的性能。然而，作为一种通用的视觉模型，SAM主要是用大规模自然光图像训练的。在水下场景中，由于光的散射和吸收，它表现出显著的性能下降。同时，SAM解码器的简单性可能会导致丢失细粒度的对象细节。为了解决上述问题，我们提出了一种新的特征学习框架MAS—SAM的海洋动物分割，其中包括整合有效的适配器到SAM的编码器和构建一个金字塔解码器。

基于频率感知网络的视频目标检测2023年 ACM MMPaperCode隐蔽目标检测（COD）的目的是准确地检测隐藏在周围环境中的目标。然而，现有的COD方法主要定位在RGB域中的图像对象，其性能尚未得到充分利用，在许多具有挑战性的场景。考虑到频域中被感知对象和背景的特征更具区分性，提出了一种基于频域语义层次的可学习、可分离的频率感知机制。我们的整个网络采用两阶段模型，包括频率引导的粗定位阶段和细节保留的精定位阶段。利用主干提取的多层次特征，设计了一种基于八度卷积的灵活频率感知模块，用于粗定位。

一幅图像相当于16X16个字：用于大规模图像识别的TransformerICLR 2021 谷歌团队PaperCode虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。本文证明了这种对CNN的依赖是不必要的，直接应用于图像块序列的纯Transformer可以在图像分类任务中表现得非常好。

基于线性Transformer的无头轻量级语义分割2023年 AAAIPaperCode现有的语义分割工作主要集中在设计有效的解码器，但长期以来忽略了整体结构引入的计算负载，这阻碍了它们在资源受限的硬件上的应用。在本文中，我们提出了一个专门用于语义分割的无头轻量级架构，名为自适应频率Transformer（AFFormer）。AFFormer采用并行架构，利用原型表示作为特定的可学习局部描述，取代解码器并保留高分辨率特征上丰富的图像语义。

医学图像分割的自定义分割模型2023年 arXivPaperCode本文提出SAMed，医学图像分割的一般解决方案。与以往的方法不同，SAMed基于大规模图像分割模型Segment Anything Model（SAM），探索了定制大规模医学图像分割模型的新研究范式。SAMed将基于低秩（LoRA）的微调策略应用于SAM图像编码器，并将其与提示编码器和掩码解码器一起在标记的医学图像分割数据集上进行微调。本文还观察到预热微调策略和AdamW优化器导致SAMed成功收敛和降低损耗。

SAM适配器：在表现不佳的场景中适配任何片段2023年 ICCVPaperCodeSAM无法分割任何内容？- SAM适配器：在表现不佳的场景中适配SAM：摄影、阴影、医学图像分割等2023年 arXivPaperCode大型模型（也称为基础模型）的出现为人工智能研究带来了重大进展。一个这样的模型是Segment Anything（SAM），它是为图像分割任务而设计的。

用于单幅图像去噪的分频注意力网络PaperCode2023年 SIVP雨纹对图像质量的影响极大，基于数据驱动的单图像去噪方法不断发展并取得了巨大的成功。然而，传统的卷积神经网络只能隐式地对频域特征进行建模，而离散余弦变换（DCT）可以看作是对频域特征的显式建模。因此，我们提出了一种分裂频率注意力，以改善内部相关性的输入特征在频域的DCT。我们选择前K个低频分量作为DCT层的输出，在频域恢复出高质量的图像，而分裂机制使网络聚焦于信息丰富的区域，保持了恢复图像细节的保真度。

2017年 NIPStransformer 开山之作 回顾一下经典，学不明白了PaperCode显性序列转导模型基于包括编码器和解码器的复杂递归或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全免除了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上是上级的，同时具有更好的并行性，并且需要更少的训练时间。

Dual SAM神奇动物和在哪里找到它们：用双SAM分割任何海洋动物2024年 cvpr海洋动物分割是水下智能的重要组成部分，它涉及到海洋环境中的动物分割问题。以前的方法在提取长距离上下文特征方面并不出色，并且超过了像素之间的连接。最近，Segment Anything Model（SAM）为一般分割任务提供了一个通用框架。然而，在使用自然图像训练时，SAM无法从海洋图像中获得先验知识。此外，SAM的单位置提示对于事前指导是非常不够的。

分割任意物体2023年 发表在ICCVPaperCodedemo我们介绍Segment Anything（SA）项目：用于图像分割的新任务、模型和数据集。在数据收集循环中使用我们的高效模型，我们构建了迄今为止最大的分割数据集，在1100万张许可和隐私保护图像上拥有超过10亿个掩码。该模型被设计和训练为可提示的，因此它能够在没有见过的图像数据分布和任务上进行零样本学习。我们评估了它在许多任务上的能力，发现它的零样本学习能力令人印象深刻-在某些情况下具有竞争力，甚至可能优于之前的完全监督结果。

从部分到整体：手术器械细分的协作性验证2023年 发布在ArxivPaperCode像Segment Anything Model（SAM）这样的基础模型已经在通用对象分割中展示了前景。然而，直接将SAM应用于手术器械分割提出了关键挑战。首先，SAM依赖于每帧点或框提示，这使外科医生与计算机的交互复杂化。此外，SAM在分割手术器械方面产生次优性能，这是由于其预训练中的手术数据不足以及各种手术器械的复杂结构和细粒度细节。

SurgicalSAM：高效的可分类手术器械细分2023年 发布在ArxivPaperCodeSegment Anything Model（SAM）是一个强大的基础模型，它彻底改变了图像分割。为了将SAM应用于手术器械分割，常见的方法是定位器械的精确点或盒，然后将它们作为SAM的提示以zeroshot方式使用。然而，我们观察到这种幼稚流水线的两个问题：（1）自然对象和手术器械之间的域间隙导致SAM的泛化较差；

低级结构分割的显式视觉提示2023年发表在IEEE CVPRPaperCode检测图像中低级结构（低层特征）一般包括分割操纵部分、识别失焦像素、分离阴影区域和检测隐藏对象。虽然每个此类主题通常都是通过特定领域的解决方案来解决的，但统一的方法在所有这些主题中都表现良好。从 NLP 中广泛使用的预训练和提示调整协议中汲取灵感，本文提出了一种新的视觉提示模型，称为显式视觉提示（EVP）。

基于上下文感知的跨层融合网络的视频目标检测IJCAI 2021本文是旧版PaperCode（此外2022年 发表在IEEE TCSVT 一个改进版本PaperCode由于目标与其周围环境之间的低边界对比度，所以伪装目标检测（COD）是一项具有挑战性的任务。此外，被包裹物体的外观变化很大，例如，对象的大小和形状，加重准确COD的困难。在本文中，提出了一种新的上下文感知跨级融合网络（C2F-Net），以解决具有挑战性的COD任务。

频率思考：基于频率感知线索的人脸伪造检测2020年发表在ECCV上。PaperCode随着人脸仿真伪造技术的发展，社会对这些技术可能被恶意滥用的担忧引发了人脸伪造检测的研究。然而，这是非常具有挑战性的，因为最近的进步能够伪造超越人眼的感知能力的人脸，特别是在压缩图像和视频中。我们发现，用频域挖掘伪造模式可能是一种解决方案，频率提供了一个补充的观点，可以很好描述微小的伪造人脸或压缩错误。

Swin-Unet：用于医学图像分割的类Unet纯Transformer2022年发表在 Computer Vision – ECCV 2022 WorkshopsPaperCode在过去的几年里，卷积神经网络（CNN）在医学图像分析方面取得了里程碑式的成就。特别是基于U型结构和跳跃连接的深度神经网络，已经广泛应用于各种医学图像任务中。然而，尽管CNN取得了优异的性能，但由于卷积运算的局部性，它不能很好地学习全局和远程语义信息交互。

基于空间注意力和变形卷积的腹部CT图像多器官分割网络2022年发表在Expert Systems With Applications上。Paper基于计算机断层扫描（CT）图像的多器官的准确分割对于腹部疾病的诊断（诸如癌症分期）和手术规划（诸如减少对靶器官周围的健康组织的损伤）是重要的。由于CT背景的复杂性以及不同器官的可变大小和形状，这项任务极具挑战性。针对肝胆胰外科手术中涉及的胰腺、十二指肠、胆囊、肝脏和胃等5个器官，提出了一种基于U-Net的分割模型。该模型具有可变形的感受野。

MobileSal：极其高效的RGB-D显著对象检测2021年发表在 IEEE Transactions on Pattern Analysis and Machine Intelligence。PaperCode神经网络的高计算成本阻碍了RGB-D显着对象检测（SOD）的最新成功，使其无法用于现实世界的应用。因此，本文介绍了一种新的网络MobileSal，它专注于使用mobile networks进行深度特征提取的高效RGB-D SOD。

SAMNet：用于轻量级显著目标检测的立体关注多尺度网络2021年发表在IEEE Transactions on Image Processing。PaperCode显着目标检测（SOD）的最新进展主要得益于卷积神经网络（CNN）的爆炸性发展。然而，大部分改进都伴随着更大的网络规模和更重的计算开销，在我们看来，这对移动设备不友好，因此难以在实践中部署。为了促进更实用的SOD系统，我们引入了一种新的立体注意多尺度（SAM）模块，它采用了立体注意机制，自适应地融合各种尺度的功能。

ISINet：一种基于实例的手术器械分割方法【Paper】【Code】我们研究了机器人辅助手术场景中手术器械的语义分割任务。我们提出了基于实例的手术器械分割网络（ISINet），一种从基于实例的分割角度解决这一任务的方法。我们的方法包括一个时间的一致性模块，考虑到以前被忽视的问题和固有的时间信息。我们在任务的现有基准，内窥镜视觉2017机器人仪器分割数据集和2018年版本的数据集上验证了我们的方法，我们扩展了仪器分割的细粒度版本的注释。

基于频率先验的二分图像分割2023年发表在IJCAIPaperCode二分图像分割（DIS）具有广泛的实际应用，近年来得到了越来越多的研究关注。本文提出了解决DIS与信息的频率先验。模型称为FP-DIS，它源于这样一个事实，即在频域的先验知识可以提供有价值的线索，以确定细粒度的对象边界。具体来说，提出了一个频率先验发生器，共同利用一个固定的过滤器和可学习的过滤器来提取信息丰富的频率先验。在将频率先验嵌入网络之前，首先协调多尺度侧出特征以减少它们的异质性。

基于频域的视频目标检测2022年发表于CVPR[Paper][Code]隐藏目标检测（COD）旨在识别完美嵌入其环境中的目标，在医学，艺术和农业等领域有各种下游应用。然而，以人眼的感知能力来识别遮挡的物体是一项极具挑战性的任务。因此，我们主张COD任务的目标不仅仅是在单个RGB域中模仿人类的视觉能力，而是超越人类的生物视觉。然后，我们引入频域作为一个额外的线索，以更好地检测从背景中隐藏的对象。为了更好地将频率线索纳入CNN模型，我们提出了一个具有两个特殊组件的强大网络。我们首先设计了一个新的频率增强。

PraNet：用于息肉分割的并行反向注意力网络2020年发表在MICCAIPaperCode结肠镜检查是检测结直肠息肉的有效技术，结直肠息肉与结直肠癌高度相关。在临床实践中，从结肠镜图像中分割息肉是非常重要的，因为它为诊断和手术提供了有价值的信息。然而，由于两个主要原因，准确的息肉分割是一项具有挑战性的任务：（i）相同类型的息肉具有不同的大小、颜色和纹理;以及（ii）息肉与其周围粘膜之间的边界不清晰。为了解决这些挑战，我们提出了一种并行反向注意力网络（PraNet），用于结肠镜图像中的准确息肉分割。

结肠镜检查被认为是检测结直肠癌 (CRC) 及其癌前病变（即息肉）最有效的筛查测试。然而，由于息肉异质性和观察者间的依赖性，该手术的漏诊率很高。因此，考虑到临床实践中息肉检测和分割的重要性，提出了几种深度学习驱动的系统。尽管取得了改进的结果，但现有的自动化方法在实现实时处理速度方面效率较低。此外，在对患者间数据（尤其是从不同中心收集的数据）进行评估时，他们的性能显着下降。因此，我们打算开发一种新颖的基于实时深度学习。