论文速递
文章平均质量分 91
论文速递
智慧地球(AI·Earth)社区
“星辰大海,AI•领航 | 智慧地球,共创未来” 来自中科院和高校的领域内专家博主共同打造智慧地球(AI•Earth)学术技术极客社区!【官方地址】:https://devpress.csdn.net/aiearth,交流前沿学术!分享极客技术!领略智慧地球风采!一起寻找生命中的光!
展开
-
【论文精读】ICLR2022 - 语言驱动的语义分割
我们提出了 LSeg,一种用于语言驱动语义图像分割的新型模型。LSeg使用文本编码器计算描述性输入标签(例如“草”或“建筑物”)的嵌入,以及使用基于Transformer的图像编码器来计算输入图像的每像素密集嵌入。图像编码器通过对比度目标训练以将像素嵌入与相应语义类别的文本嵌入对齐。文本嵌入提供了一种灵活的标签表示形式,在这种表示形式中,语义上相似的标签映射到嵌入空间中的相似区域(例如“猫”和“有毛的”)。这使得LSeg能够在测试时推广到以前未见过的类别,而无需重新训练甚至不需要单个额外的训练样本。原创 2023-05-26 21:03:06 · 1189 阅读 · 1 评论 -
【论文速递】ICLR2022 - 语言驱动的语义分割
我们提出了 LSeg,一种用于语言驱动语义图像分割的新型模型。LSeg使用文本编码器计算描述性输入标签(例如“草”或“建筑物”)的嵌入,以及使用基于Transformer的图像编码器来计算输入图像的每像素密集嵌入。图像编码器通过对比度目标训练以将像素嵌入与相应语义类别的文本嵌入对齐。文本嵌入提供了一种灵活的标签表示形式,在这种表示形式中,语义上相似的标签映射到嵌入空间中的相似区域(例如“猫”和“有毛的”)。这使得LSeg能够在测试时推广到以前未见过的类别,而无需重新训练甚至不需要单个额外的训练样本。原创 2023-05-25 15:24:54 · 423 阅读 · 0 评论 -
【论文速递】ICLR2023 - 基于视觉语言预训练模型的医疗图像小样本学习及零样本推理性能研究
大规模预训练视觉语言模型(VLM)在自然图像上表现出了显著的领域迁移能力。然而,这种能力是否也能应用于医学图像领域仍然是未知的。本文深入研究了预训练的VLM在医学领域的知识可转移性,表明设计良好的医学提示是从预训练的VLM中获取知识的关键。研究表明,通过使用域间共享的表达性属性提示,VLM可以跨域传递知识,提高其泛化能力。这种机制使VLM能够在较少或没有图像样本的情况下识别新对象。原创 2023-04-24 22:33:30 · 597 阅读 · 1 评论 -
【论文速递】Arxiv2019 - MultiPath:行为预测的多重概率锚点轨迹假设
预测人的行为是运动规划中一个困难而关键的任务。这在很大程度上具有挑战性,因为在自动驾驶等现实世界领域,可能出现的结果具有高度的不确定性和多模式集。除了单一的MAP轨迹预测[1,2],获得未来的精确概率分布是一个积极关注的领域[3,4]。**我们提出了MultiPath,它利用了一组固定的未来状态序列锚,这些锚对应于轨迹分布的模式。**在推理中,我们的模型预测了锚点上的离散分布,并且对于每个锚点,回归锚点路径点的偏移量以及不确定性,在每个时间步中产生高斯混合。原创 2023-03-29 21:52:07 · 325 阅读 · 2 评论 -
【论文精读】CSET - 小数据的大AI潜力
传统观点认为,尖端人工智能依赖于大量数据。根据这一人工智能概念,数据是一种重要的战略资源,一个国家(或公司)能获得多少数据被视为人工智能进展的关键指标。这种对数据在人工智能中的作用的理解并非完全不准确——许多当前的人工智能系统确实使用了大量的数据。但如果政策制定者认为这是所有人工智能系统的永恒真理,他们就会误入歧途。过分强调数据忽略了几种人工智能方法的存在,并低估了其潜力,这些方法不需要大量标记的数据集或从现实世界的交互中收集的数据。在本文中,我们将这些方法称为“小数据”方法。原创 2023-03-27 20:57:23 · 209 阅读 · 0 评论 -
【论文速递】CSET - 小数据的大AI潜力
传统观点认为,尖端人工智能依赖于大量数据。根据这一人工智能概念,数据是一种重要的战略资源,一个国家(或公司)能获得多少数据被视为人工智能进展的关键指标。这种对数据在人工智能中的作用的理解并非完全不准确——许多当前的人工智能系统确实使用了大量的数据。但**如果政策制定者认为这是所有人工智能系统的永恒真理,他们就会误入歧途**。过分强调数据忽略了几种人工智能方法的存在,并低估了其潜力,这些方法不需要大量标记的数据集或从现实世界的交互中收集的数据。在本文中,我们将这些方法称为“小数据”方法。**原创 2023-03-21 17:37:07 · 144 阅读 · 1 评论 -
【论文速递】CVPR2021 - 基于自引导和交叉引导的小样本分割算法
小样本分割由于其对带有少量注释样本的不可见对象类分割的有效性而引起了广泛的关注。现有方法大多使用掩码全局平均池(GAP)将带注释的支持图像编码为特征向量,以方便查询图像分割。然而,由于平均操作,这个管道不可避免地会丢失一些鉴别信息。在本文中,我们提出了一种简单而有效的自引导学习方法,其中挖掘丢失的关键信息。具体来说,通过对标注后的支持图像进行初始预测,将覆盖前景区域和未覆盖前景区域分别用掩码GAP编码为主支持向量和辅助支持向量。通过主支持向量和辅助支持向量的聚合,对查询图像具有较好的分割效果。原创 2023-03-02 20:41:10 · 451 阅读 · 0 评论 -
【论文速递】ICLR2018 - 用于小样本语义分割的条件网络
few-shot学习方法的目标是在低数据状态下获得良好的性能。结构化输出任务,如分割,由于其高维和输出之间的统计依赖性,对小样本学习提出了困难。为了解决这个问题,我们提出了co-FCN,这是一个通过端到端优化学习的条件网络,可以执行快速、准确的小样本分割。网络条件建立在一个带标注的支持图像集上,通过特征融合对一个未标注的查询图像进行推理。一旦学会,我们的条件反射方法就不需要对新数据进行进一步优化。注释被限制在一个单独的向前传递中,这使得我们的方法适合交互使用。原创 2023-02-18 19:58:53 · 368 阅读 · 0 评论 -
【论文速递】MMM2020 - 电子科技大学提出一种新颖的局部变换模块提升小样本分割泛化性能
小样本分割段对象区域的新类与一些手动注释。其关键步骤是建立支持图像(带标注图像)与查询图像(无标注图像)之间的转换模块,使支持图像的分割线索指导查询图像的分割。现有方法基于全局线索形成转换模型,但忽略了局部线索,本文验证了局部线索对转换非常重要。提出了一种新的基于局部线索的变换模块,利用局部特征之间的关系进行变换。为了提高网络的泛化性能,在基于余弦距离的高维度量嵌入空间中计算关系矩阵。原创 2023-02-14 18:57:56 · 545 阅读 · 0 评论 -
【论文速递】Arxiv2018 - 加州伯克利大学借助引导网络实现快速、准确的小样本分割
基于学习的视觉分割方法已经在特定类型的分割任务上取得了进展,但受到必要的监督、固定任务的狭隘定义以及在纠正错误的推理过程中缺乏控制的限制。为了弥补标准方法的刚性和注释负担,我们解决了小样本分割的问题:给定少量图像和少量像素监督,相应地分割任何图像。我们提出了引导网络,它从任意数量的监督中提取潜在的任务表示,并优化我们的端到端架构,以实现快速、准确的小样本分割。我们的方法可以在没有进一步优化的情况下切换任务,并在得到更多指导时快速更新。原创 2023-02-13 19:44:05 · 369 阅读 · 0 评论 -
【论文速递】ICCV2021 - 基于超相关压缩实现实时高精度的小样本语义分割
小样本语义分割的目的是学习仅使用目标类的一些带注释的支持图像从查询图像中分割目标对象。这项具有挑战性的任务需要理解不同层次的视觉线索,并分析查询和支持图像之间的细粒度对应关系。为了解决这个问题,我们提出了利用多级特征相关和高效4D卷积的超相关挤压网络(HSNet)。它从中间卷积层的不同层次中提取不同的特征,构造一个4D相关张量集合,即超相关。该方法采用高效的金字塔结构的中心-轴四维卷积,将超相关的高级语义线索和低级几何线索从粗到细逐步挤压成精确的分割面具。原创 2023-02-10 19:34:22 · 587 阅读 · 0 评论 -
【论文速递】ICCV2019 - 基于特征加权和增强的小样本分割
本文研究了图像中前景对象的小样本分割。我们在训练图像的小子集上训练CNN,每个子集都模仿few-shot设置。在每个子集中,一张图像作为查询图像,另一张图像作为支持图像,并进行基本真理分割。CNN首先从查询和支持图像中提取特征图。然后,一个类特征向量被计算为支持的特征映射在已知前景的平均值。最后,利用类特征向量与查询的特征映射之间的余弦相似度在查询图像中分割目标对象。我们通过以下两个方面做出了贡献:(1)提高特征的鉴别性,使其激活在前景上高而在其他地方低;原创 2023-02-06 22:32:52 · 346 阅读 · 0 评论 -
【论文速递】WACV2023 - 循环相似注意力的小样本医学图像分割
近年来,由于医学影像应用需求的不断提高以及对医学图像标注的专业要求,小样本学习在医学图像语义分割领域越来越受到重视。为了对数量有限的标记医学图像进行分割,现有的研究大多使用原型网络(PN),并取得了令人瞩目的成功。然而,这些方法忽略了从所提出的表示网络中提取的查询图像特征,未能保持查询图像和支持图像之间的空间联系。在本文中,我们提出了一种新的自监督小样本医学图像分割网络,并引入了一种新的循环相似注意(CRA)模块,以充分利用查询和支持医学图像之间的像素级关系。原创 2023-02-03 18:19:33 · 1835 阅读 · 0 评论 -
【论文速递】WACV2023 - CellTranspose:用于细胞实例分割的小样本域自适应
自动细胞实例分割是过去二十年来加速生物学研究的一个过程,最近的进展已经产生了更高质量的结果,而生物学家付出的努力更少。目前的大多数努力都集中在通过生成高度一般化的模型来将研究人员完全排除在外。然而,当面对新的数据时,这些模型总是失败,这些数据的分布与用于训练的数据不同。在这项工作中,我们没有使用假设有大量目标数据可用性和用于再训练的计算能力的方法来解决问题,而是解决了设计一种需要最少的新注释数据和训练时间的方法的更大挑战。为此,我们设计了专门的对比损失,非常方便地利用少数注释样本。原创 2023-02-01 21:20:21 · 300 阅读 · 3 评论 -
【论文速递】PR2023 - 基于自正则原型网络的小样本语义分割
用于图像语义分割的深度cnn通常需要大量密集标注的图像进行训练,难以推广到未见的物体类别。因此,已经发展了小样本分割,只需几个注释示例就可以进行分割。在这项工作中,我们使用基于原型提取的自正则化原型网络(SRPNet)来处理few-shot分割,以更好地利用支持信息。提出的SRPNet从支持图像中提取特定类的原型表示,并通过距离度量-保真度为查询图像生成分割掩码。在SRPNet中提出了一种直接有效的基于支持集的原型正则化方法,在支持集上对生成的原型进行评估和正则化。原创 2023-01-31 19:01:18 · 1167 阅读 · 1 评论 -
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection
在本文中,我们开发了用于多视图 3D 对象检测的位置嵌入变换 (PETR)。PETR 将 3D 坐标的位置信息编码为图像特征,产生 3D 位置感知特征。对象查询可以感知 3D 位置感知特征并执行端到端对象检测。PETR 在标准 nuScenes 数据集上实现了最先进的性能(50.4% NDS 和 44.1% mAP),并在基准测试中排名第一。它可以作为未来研究的简单而强大的基线。Fig. DETR、DETR3D 和提出的 PETR 的比较。原创 2023-01-31 18:37:16 · 753 阅读 · 0 评论 -
【论文速递】BEVFormer: 通过时空变换器从多相机图像中学习BEV表示
3D 视觉感知任务,包括基于多相机图像的 3D 检测和地图分割,对于自动驾驶系统至关重要。在这项工作中,文章提出了一个名为 BEVFormer 的新框架,它使用时空变换器学习统一的 BEV 表示,以支持多个自动驾驶感知任务。简而言之,BEVFormer 通过预定义的网格状 BEV查询与空间和时间交互,从而利用空间和时间信息。为了聚合空间信息,文章设计了空间交叉注意力(Spatial Cross Attention),每个 BEV 查询都从相机视图中的感兴趣区域中提取空间特征。对于时间信息,文章提出。原创 2023-01-29 21:24:39 · 606 阅读 · 3 评论 -
【论文速递】TMM2023 - FECANet:用特征增强的上下文感知网络增强小样本语义分割
小样本语义分割的任务是学习在只有少量标注支持图像的查询图像中定位新类的每个像素。由于典型的基于原型的方法不能学习细粒度的对应关系,目前基于相关性的方法都是通过构造成对的特征相关性来建立多对多匹配。然而,现有的方法仍然存在朴素关联中包含的噪声和关联中缺乏上下文语义信息的问题。为了缓解上述问题,我们提出了一个特征增强的上下文感知网络(FECANet)。具体而言,提出了一种特征增强模块,以抑制类间局部相似引起的匹配噪声,增强朴素相关中的类内相关性。原创 2023-01-29 13:28:49 · 697 阅读 · 1 评论 -
【论文速递】CVPR2020 - CRNet:用于小样本分割的交叉参考网络
在过去的几年里,最先进的图像分割算法是基于深度卷积神经网络的。为了渲染一个具有理解概念能力的深度网络,人类需要收集大量像素级注释数据来训练模型,这是耗时且繁琐的。为了解决这一问题,最近提出了小样本分割。小样本分割的目的是学习一种只需要少量训练图像就可以推广到新类的分割模型。本文提出了一种用于小样本分割的交叉参考网络(CRNet)。与以往只预测查询图像中的掩码不同,本文提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制,我们的网络可以更好地找到两幅图像中同时出现的物体,从而帮助完成小样本分割任务。原创 2023-01-27 16:45:01 · 506 阅读 · 1 评论 -
【论文速递】WACV2022 - 基于小样本分割的多尺度Non-Novel片段消除方法
小样本分割的目的是设计一个泛化模型,在训练过程中,在少数支持图像的指导下,将查询图像从未见的类中分割出来,这些支持图像的类与查询的类一致。在以往的研究中,存在着两个领域特有的问题,即空间不一致性和对可见类的偏向。考虑到前一个问题,我们的方法在多尺度上比较支持特征图和查询特征图,使其成为尺度不可知的。为了解决后一个问题,在可用的类上训练一个监督模型,称为基础学习器,以准确地识别属于所见类的像素。因此,后续元学习器有机会在集成学习模型的帮助下丢弃属于已见类的区域,该集成学习模型协调元学习器和基础学习器。原创 2023-01-20 20:49:11 · 1696 阅读 · 3 评论 -
【论文速递】IJCV2022 - CRCNet:基于交叉参考和区域-全局条件网络的小样本分割
小样本分割的目的是学习一种只需要少量训练图像就可以推广到新类的分割模型。在本文中,我们提出了一种用于小样本分割的交叉参考和局部全局条件网络(CRCNet)。与以往只预测查询图像掩码的工作不同,我们提出的模型同时对支持图像和查询图像进行预测。我们的网络通过交叉引用机制可以更好地找到两幅图像中同时出现的物体,从而帮助完成小样本分割任务。为了进一步改进特征比较,我们开发了一个局部-全局条件模块来捕获全局和局部关系。此外,我们还开发了掩码优化模块,对前景区域进行循环优化预测。原创 2023-01-19 16:58:16 · 732 阅读 · 3 评论 -
【论文速递】WACV2022 - 从边界框标注学习小样本分割
*我们提出了一种新的弱监督小样本语义分割设置和一种元学习方法来应对新的挑战。**与现有设置不同,我们利用边界框标注作为元训练阶段的弱监督信号,即更有效的标签。包围框提供了比分割掩码更有效的标签表示,但包含感兴趣的对象和令人不安的背景。我们首先表明,使用包围框的元训练降低了最近的few-shot语义分割方法,这些方法通常是具有完整语义分割监督的元训练。我们假设这种挑战源于边界框表示的不纯信息。我们提出了一个伪三分图估计器和基于三分图注意的原型学习,以从包围框中提取更清晰的监督信号。原创 2023-01-18 21:19:40 · 1460 阅读 · 0 评论 -
【论文速递】CVPR2021 - 基于自适应原型学习和分配的小样本分割
原型学习被广泛应用于小样本分割。通常,通过平均全局对象信息从支持特征中获得单个原型。但是,使用一个原型来表示所有信息可能会导致歧义。本文提出了超像素引导聚类(SGC)和引导原型分配(GPA)两个新模块,用于多原型抽取和分配。具体来说,SGC是一种不需要参数和训练的方法,通过聚合相似的特征向量来提取更有代表性的原型,而GPA能够选择匹配的原型来提供更准确的指导。通过将SGC和GPA集成在一起,我们提出了自适应超像素引导网络(ASGNet),这是一种轻量级模型,可以适应物体的大小和形状变化。原创 2023-01-16 17:11:47 · 1538 阅读 · 2 评论 -
【论文速递】ECCV2022 - 开销聚合与四维卷积Swin Transformer_小样本分割
本文提出了一种新的开销聚合网络,称为体积聚合Transformer(VAT),用于小样本分割。Transformer的使用可以通过对全局接受域的自注意力而有利于相关映射聚合。但是,用于Transformer处理的相关映射的标记化可能是有害的,因为标记边界上的不连续减少了标记边缘附近可用的本地上下文,并减少了归纳偏差。为了解决这个问题,我们提出了一个4D卷积Swin Transformer,其中高维Swin Transformer之前是一系列小核卷积,将局部上下文传递给所有像素,并引入卷积归纳偏差。原创 2023-01-15 21:39:50 · 828 阅读 · 3 评论 -
【论文速递】ECCV2022 - 密集高斯过程的小样本语义分割
小样本分割是一项具有挑战性的密集预测任务,它需要分割一个新的查询图像,只给予一个小的注释支持集。因此,关键问题是设计一种方法,可以从支持集中聚合详细信息,同时对外观和上下文的巨大变化具有健壮性。为此,我们提出了一种基于密集高斯过程(GP)回归的小样本分割方法。给定支持集,我们的密集GP学习从局部深度图像特征到掩码值的映射,能够捕获复杂的外观分布。此外,它提供了一种捕获不确定性的原则性手段,作为CNN解码器获得的最终分割的另一个强大线索。原创 2023-01-14 12:44:28 · 696 阅读 · 4 评论 -
【论文速递】ACM2022 - 基于嵌入自适应更新和超类表示的增量小样本语义分割
增量小样本语义分割(IFSS)的目标是逐步扩展模型的能力,以分割只有少量样本监督的新类别图像。然而,在旧类上学习到的特征可能会显著漂移,导致灾难性的遗忘。此外,在新类上进行像素级分割的样本很少,导致每个学习会话中都存在臭名昭著的过拟合问题。在本文中,我们将基于类的知识显式表示为类别嵌入和超类嵌入,其中类别嵌入描述独占语义属性,超类嵌入表示类共享语义属性。针对IFSS问题,从两个方面提出了嵌入自适应更新网络和超类表示网络。原创 2023-01-13 17:00:41 · 584 阅读 · 4 评论 -
【论文速递】CVPR2022 - 泛化的小样本语义分割
语义分割模型的训练需要大量精细标注的数据,很难快速适应不满足这一条件的新类。小样本分割(FS-Seg)通过许多约束来解决这个问题。在本文中,我们引入了一种新的基准,称为泛化的小样本语义分割(GFSSeg),以分析同时分割具有很少示例的新类别和具有足够示例的基本类别的泛化能力。这是首次研究表明,以往最先进的代表性FS-Seg方法在GFS-Seg中存在不足,其性能差异主要来自FS-Seg的约束设置。为了使GFS-Seg易于处理,原创 2023-01-13 16:20:09 · 2125 阅读 · 10 评论 -
【论文速递】TPAMI2022 - 小样本分割的整体原型激活
近年来,传统的基于深度cnn的分割方法取得了令人满意的性能,但其本质上是大数据驱动技术,难以推广到未见类别。随后开发了小样本分割,以在低数据状态下执行相关操作。遗憾的是,由于训练范式和网络架构的因素,现有方法容易对基类目标进行过拟合,分割边界不准确,在一定程度上阻碍了研究的进展。在本文中,我们提出了一个整体原型激活(HPA)网络来缓解这些问题。其新颖的设计可以概括为三个方面:1)一种无需训练的派生基类先验表示的方案。原创 2023-01-12 18:47:22 · 893 阅读 · 4 评论 -
【论文速递】CVPR2022 - 学习 什么不能分割:小样本分割的新视角
近年来,小样本分割(FSS)得到了广泛的发展。以往的大部分工作都是通过分类任务衍生的元学习框架来实现泛化;然而,训练后的模型偏向于所见的类,而不是理想的未知类,从而阻碍了对新概念的识别。本文提出了一种新颖而直接的见解来缓解这一问题。具体来说,我们在传统的FSS模型(元学习器)上应用了一个额外的分支(基本学习器)来显式地识别基类的目标,即不需要分割的区域。然后,自适应整合这两个学习器并行输出的粗结果,得到精确的分割预测。原创 2023-01-12 13:42:50 · 880 阅读 · 1 评论 -
【论文速递】TNNLS2022 - 一种用于小样本分割的互监督图注意网络_充分利用有限样本的视角
全监督语义分割在许多计算机视觉任务中表现良好。然而,这是耗时的,因为训练一个模型需要大量的像素级注释样本。小样本分割最近成为解决这个问题的一种流行方法,因为它只需要少量带注释的样本就可以推广到新的类别。然而,如何充分利用有限的样本仍然是一个悬而未决的问题。因此,本文提出了一种相互监督的小样本分割网络。首先,对中间卷积层的特征映射进行融合,增强特征表示能力;其次,将支持图像和查询图像组合成二部图,采用图注意网络避免空间信息丢失,增加支持图像像素数,指导查询图像分割;原创 2023-01-11 19:47:17 · 390 阅读 · 4 评论 -
【论文速递】ECCV2022 - ConMatch:置信度引导的半监督学习
我们提出了一种新的半监督学习框架,智能地利用模型预测之间的一致性正则化,从图像的两个强增强视图,由伪标签置信度加权,称为ConMatch。虽然最新的半监督学习方法使用图像的弱增强视图和强增强视图来定义方向一致性损失,但如何为两个强增强视图之间的一致性正则化定义这种方向仍未探索。为了解释这一点,我们提出了新的伪标签置信度测量方法,通过弱增强视图作为非参数和参数方法的锚。特别是在参数化方法中,我们首次提出了在网络中学习伪标签置信度的方法,这是通过骨干网模型端到端学习的。原创 2023-01-11 16:43:13 · 1533 阅读 · 0 评论 -
【论文速递】9位院士Science88页长文:人工智能的进展、挑战与未来
# 【论文速递】9位院士Science88页长文:人工智能的进展、挑战与未来**【论文原文】**:Intelligent Computing: The Latest Advances, Challenges and Future```获取地址:https://spj.science.org/doi/10.34133/icomputing.0006```## 摘要: 计算是人类文明发展的重要动力。近年来,我们见证了**智能计算**的兴起。在大数据、人工智能、物联网时代,智能计算的新理论、原创 2023-01-11 13:42:05 · 1481 阅读 · 1 评论