Deep Metric Learning for Open World Semantic Segmentation CVPR2021开放集识别论文解读

最新推荐文章于 2024-03-15 12:16:14 发布
最新推荐文章于 2024-03-15 12:16:14 发布
阅读量613 收藏 2
点赞数
分类专栏： 开放集识别 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pingguolou/article/details/121086966
版权
本文介绍了一种结合深度度量学习和变分损失的开放集语义分割方法，通过混合损失函数优化模型。在训练阶段，利用判别交叉熵和变分损失，确保样本与同类别的原型接近，不同类别保持距离。测试时，通过异常概率判断未知类。该方法在国际计算机视觉会议上发表。
摘要由CSDN通过智能技术生成

[3] Cen J, Yun P, Cai J, et al. Deep Metric Learning for Open World Semantic Segmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 15333-15342.

 本文联合判别交叉熵（DCE）损失和变分损失来替代CE loss，基于深度度量学习网络（DMLNet）与对比性聚类来实现开放集语义分割。（实际上包含开放集语义分割模块和一个增量学习模块，但我们只关注第一部分）

  • 在训练阶段，该方法将判别交叉熵损失（等价于上文中的tuplet损失）和变分损失（等价于上文中的中心损失）结合起来，制定了一个新的损失函数，即混合损失（也没命名，就叫混合损失，真特么随意），用于开放集语义分割。其中，交叉熵损失就是类似于上文中的tuplet损失，使得样本和同类中心的距离尽量小，和不同类的中心距离尽可能大，不同的还是中心点的计算，他们这叫做原型（因为是指标学习嘛）的计算，这里没有特意提到，估计就是每次都求个特征均值。变分损失VL的计算和上文的中心损失以及上上面这篇TCSVT上的文章类似，唯一的区别还是类中心的计算方法不一样，没有明确提出来。所以，总的混合损失函数L如下

最低0.47元/天 解锁文章
appron
关注
专栏目录
论文阅读 CVPR2022《Rethinking Semantic Segmentation：A Prototype View》
weixin_41469023的博客
08-13 2816
流行的语义分割解决方案，尽管它们有不同的网络设计（基于 FCN 或基于注意力）和掩码解码策略（基于参数 softmax 或基于像素查询），但可以通过将 softmax 权重或查询向量视为可学习类原型来归为一类。鉴于这种原型观点，本研究揭示了这种参数分割方案的几个局限性，并提出了一种基于不可学习原型的非参数替代方案。我们的模型不是以前的方法以完全参数化的方式为每个类学习单个权重/查询向量，而是将每个类表示为一组不可学习的原型，仅依赖于该类中几个训练像素的平均特征。因此，通过检索非参数最近原型来实现密集预测。这
Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation
stdleohao的博客
09-01 520
Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation Abstract 现状 经过充分训练数据的特征学习，用少量样本去表示新类，少样本的语义分割取得了令人鼓舞的进展 问题 特征共享机制，不可避免的在具有相似语义组成理论的新类之间造成语义混淆 创新 本文里，我们提出了将少样本的分割问题视为语义重建问题，将基本类的特征转化成一系列的基本向量，并张成类级别的语义空间，用于新类重建 方法 引入对比损失，最大化向
【论文阅读】DMLNet：深度度量学习开放世界语义分割
星星亮了bulingbuling~
05-04 2047
title: DMLNet 深度学习 异常分割 度量学习 开放世界语义分割 开集语义分割模块 闭集语义分割子模块 异常分割子模块 增量小样本学习模块 我是短小精悍的文章摘要(๑•̀ㅂ•́) ✧ CODE multiscale 是自己设定的吗 cfg.DATASET.imgSizes = (300, 375, 450, 525, 600) Seg 转化为long Tensor的目的是什么 colors的作用是什么 几个辅助函数的作用.
论文笔记——Semantic Instance Segmentation via Deep Metric Learning
许希律的博客
09-15 1570
度量学习（Metric Learning）也就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大（maximize the inter-class variations and minimize the intra-class variations）就是度量学习的目标。 在这篇论文中，度量学习用于计算像素之间的相似度，...
开放集识别
pingguolou的博客
06-09 4671
0.摘要 1.到目前为止，在计算机视觉中，几乎所有基于机器学习的识别算法的实验评估都采用了封闭集识别的形式，即在训练时已知所有测试类。对于视觉应用来说，一个更现实的场景是开放集识别，在训练时存在不完整的世界知识，在测试时未知的类可以提交给算法。本文探讨了开集识别的性质，并将其定义形式化为约束最小化问题。现有算法不能很好地解决开放集识别问题，因为它需要很强的泛化能力。作为解决方案的一个步骤，我们引入了一个新的1-vs-set机器，它雕刻一个决策空间的边缘距离的1-class或binary svm的线性...
港中文&Adobe提出：开放式实体分割 Open-World Entity Segmentation
阿木寺的博客
07-31 987
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文作者：diddo | 来源：知乎（已授权）https://zhuanlan.zhihu.com/p/3946213...
Open-Set-Recognition:开放集识别
03-18
公开集识别项目 使用PyTorch进行的开放集识别项目。 如有任何问题，请发送电子邮件 注意：由于我的实验性实现（特别是我的方法），需要重新构造。 要求 对于不同的算法和不同的数据集，要求会有所不同。通常，基本和必不可少的要求是： # pytorch 1.4+, torchvision 0.7.0 + pip3 install torch torchvision # sklearn pip3 install -U scikit-learn # numpy pip3 install numpy # scikit-learn-0.23.2 pip3 install -U sklearn 对于OpenMax： pip3 install libmr 对于绘制MNIST： pip3 install imageio pip3 install tqdm 配套 数据集 CIFAR-100（完成）
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
三维点云语义分割【综述】 ——Deep Learning for 3D Point Clouds: A Survey
Dujing2019的博客
02-16 1万+
3D POINT CLOUD SEGMENTATION3D Semantic SegmentationProjection-based NetworksPoint-based NetworksInstance SegmentationProposal-based MethodsProposal-free MethodsPart SegmentationSummary 3D点云分割需要了解全局几何结...
开放集识别（基于生成模型）
pingguolou的博客
06-23 3170
我们列举了一些重要的基于生成方式的开放集识别方法，仅供参考
开集识别（Open Set Recognition）
热门推荐
Black的博客
09-01 1万+
开集识别 闭集识别 ​ 训练集中的类别和测试集中的类别是一致的，最常见的就是使用公开数据集进行训练，所有数据集中的图像的类别都是已知的，没有未知种类的图像。传统的机器学习的算法在这些任务上已经取得了比较好的效果。 开集识别简述 ​ 现实场景中更多的是开放和非静态的环境，比如，一些没有见过的情况会意外出现。针对这一挑战提出的方法有持续学习、迁移学习、域适应、零样本、少样本学习、开集识别和分类等。 ​ 开集识别简单定义是，一个在训练集上训练好的模型，当利用一个测试集（该
open-set recognition(OSR)开集识别
kuxingseng123的博客
11-24 5562
先大致了解是干什么的，然后再慢慢开始研究OSR，争取把 其完全搞透彻，搞彻底再说的样子与打算。
开集图像识别（open-set recognition）
最新发布
qq_45691955的博客
03-15 1859
使用深度学习方法进行开集识别，并且使用不同的评估方式
开放集识别方法之极值机（The Extreme Value Machine，2018 TPAMI）
pingguolou的博客
07-23 2587
问题概述：识别新类并增量学习新类，即监督学习的分类算法应当能够拒绝未知类，把这些未知类孤立出来。（开放集识别）这样就可以人工标记这些未知类，然后以增量的方式加入到原来的分类器中，进一步强化分类能力。（增量学习） 背景： 方案与主要贡献：建立了一个理论上健全的分类器——极值机(EVM)。EVM从统计极值理论(EVT)中得到了很好的解释，是第一个能够进行非线性无核可变带宽增量学习的分类器。与同一深度网络衍生特征空间中的其他分类器相比，该分类器在ImageNet数据集的基准分区上具有较高的准确率和效率。贡献
开放集识别之GPD and GEV Classi ers
pingguolou的博客
07-24 701
问题概述：1）区分已知和未知新数据的算法识别是最基本的问题（开放集识别），但2）当未知类别样本与已知类别样本具有非常大的不同时，应该仍然能够识别未知类样本（更大的开放性，例如大类不同，随机噪声变成未知样本），3）其次也应该支持增量学习。 背景：基于EVT，参考（https://blog.csdn.net/pingguolou/article/details/107521555） 方案与主要贡献： 方案细节： 理论分析： 1）极值分布（理论generalized extremevalue,GEV）是
OPEN-SET RECOGNITION WITH GRADIENT-BASED REPRESENTATIONS基于梯度表征的开放集识别
pingguolou的博客
01-20 469
0.摘要： 用于图像分类任务的神经网络假定在推理过程中任何给定的图像都属于训练类别之一。这种封闭的假设在现实世界的应用中受到了挑战，因为模型可能会遇到未知类别的输入。开放集识别的目的是通过拒绝未知类别而正确分类已知类别来解决这个问题。在本文中，我们建议利用从已知分类器中获得的基于梯度的表征，只用已知类别的实例来训练一个未知的检测器。梯度对应于正确表示一个给定样本所需的模型更新的数量，我们利用它来了解模型用其学到的特征来描述输入的能力。我们的方法可以用于任何在已知类别上以监督方式训练的分类器，而不需要对未知
开集识别(Open Set Recognition, OSR)算法：《Towards Open Set Deep Networks》OpenMax
weixin_42188082的博客
12-18 1万+
写完了论文，重新梳理一下，以后不再更新。 1.相关论文源码 《Towards Open Set Deep Networks》即OpenMax源码:https://github.com/abhijitbendale/OSDN 《Meta-Recognition: The Theory and Practice of Recognition Score Analysis》即libMR， OpenMax使用libMR完成Weibull拟合。源码:https://github.com/Vastlab/libM
开放集识别分析文章
Mr.L的博客
07-26 204
主要的综述：Recent Advances in Open Set Recognition: A Survey 下载地址https://arxiv.org/pdf/1811.08581.pdf 综述分析：文章链接 https://blog.csdn.net/pingguolou/article/details/117535666 开集识别相关介绍：文章链接https://www.cnblogs.com/bonelee/p/14482628.html ...
deep metric learning
06-28
深度度量学习（deep metric learning）是一种深度学习技术，旨在学习数据之间的相似度度量。它可以用于许多应用程序，例如人脸识别、图像检索和推荐系统。通过学习数据之间的相似度度量，深度度量学习可以使相似的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值