NeurIPS | 达摩院联合华科开源基于流形结构对齐的零样本学习框架HSVA

已于 2023-03-30 10:59:08 修改
阅读量1.9k 收藏 5
点赞数 2
分类专栏： 深度 学习论文与相关应用 文章标签： 人工智能 深度学习 NeurIPS 零样本 HSVA Powered by 金山文档
于 2023-02-22 10:55:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunbaigui/article/details/129158064
版权

团队模型、论文、博文、直播合集，点击此处浏览

一、论文&代码

论文链接：HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning

开源代码：https://github.com/shiming-chen/HSVA

二、背景

本文介绍我们被机器学习顶会NeurIPS 2021 接收的论文 “HSVA: Hierarchical Semantic-Visual Adaptationfor Zero-Shot Learning”。Zero-shot learning (ZSL) 解决了unseen的类别识别问题，将语义知识从看得见的类别迁移到看不见的类别。通常，为了保证理想的知识迁移，采用公共（潜在）空间来关联 ZSL 中的视觉和语义域。然而，现有的通用空间学习方法仅通过一步适应来减轻分布不一致，从而对齐语义和视觉域。由于两个域中特征表示的异质性，这种策略通常是无效的，这两个域本质上包含分布和结构变化。为了解决这个问题，我们提出了一种新颖的层次化语义-视觉适应 (HSVA) 框架。

1.）Zero-shot Learning

如何将机器学习模型从已知的知识泛化到未知的场景？



2.） Formal Formulation of ZSL

3.）HSVA Motication

ZSL核心需要解决的是如何把已见类的语义知识迁移到未见类上。目前的方法更倾向于设计一个可以拉近语义和视觉分布的commonspace, 如下图的(a)。 但是由于视觉和语义信息是异构的，这就使得这两种信息之间的差异还应该包含结构上的不同,如下图(a)，传统的ZSL之拉近视觉和语义信息之间的分布，会导致语义信息和视觉信息还是保留本身的流形结构。进一步，通过(c)和(d)的可视化也可以看到如果不加上流形结构上的对齐，不同类之间的边界不是很明显。

三、方法



基于上述的分析，我们在传统的one-stepzsl算法中(上图中的backbone net + distribution-adptation module)引入了structure-adaptionmodule来拉近视觉和语义信息之间的结构差异。

1.）Structure-Adaptation

●Semantic and Visual Embedding Classification

训练语义和视觉的分类器

●Discrepancy Maximization for Classifiers.

固定Encoder中的参数，最大化两个分类器之间的差异，使得视觉和语义信息的决策边界更明显



●Discrepancy Minimization for Encoders.

固定分类器中的参数，缩小encoder生成的视觉和语义信息的差异，使得视觉和语义信息的距离更近。

2.）Distribution Adaptation

为了保留structureadaption对齐的结构信息，这个模块跟[1],[2],[3],[4],[5]中所阐述的one-step zsl 采用2个encoder不同, 我们采用了一个commonencoder.

●拉近视觉和语义信息潜在的多元高斯分布的距离

●为了避免未见类拟合到已见类，由于CORA可以很好地解决非对称性变化的域适应问题，我们用CORAL来衡量已见类和未见类之间的差异并增大。



3.）Optimization



四、结果

五、应用

本文模型可以灵活应用在视觉任务的冷启动训练上。另外给大家介绍下CV域上的开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：

https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary

https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary

https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary

https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary

https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary

https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary

AI记忆
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HSV
afeyfre41671的博客
10-04 93
HSV（也叫做 HSB）是对RGB 色彩空间中点的有关系的表示，它们尝试描述比 RGB 更准确的感知颜色联系，并仍保持在计算上简单。HSL 表示 hue（色相）、saturation（饱和度）、lightness（亮度），HSV 表示 hue、 saturation、value HSV 二者都把颜色描述在圆柱体内的点，这个圆柱的中心轴取值为自底部的黑色到顶部的白色而在它们中间是的灰色...
Less颜色值定义函数和颜色值通道提取函数（12）
weixin_44679078的博客
01-29 1364
颜色值定义函数 rgb()函数 作用：通过十进制红色、绿色、蓝色三种值（RGB）创建不透明的颜色对象。 rgba()函数 作用：通过十进制红色、绿色、蓝色以及alpha四种值（RGBA）创建带alpha透明的颜色对象。 argb()函数 作用：创建格式为#AARRGGBB的十六进制（hex representation）颜色 hsl()函数 作用：通过色相（hue）、饱和度（saturation）、亮度（lightness）三种值（hsl）创建不透明的颜色对象。 hsla()函数 作用：通过色相（hue）、
Unsupervised Image Matching based on Manifold Alignment（笔记）
thystar的专栏
11-07 1360
基于流形对齐的无监督图像配准
Pygame详解（一）：Color类
来自江南的你的博客
01-05 1万+
class pygame.Color Pygame 中用于描述颜色的对象。 Color(name) -> Color Color(r, g, b, a) -> Color Color(rgbvalue) -> Color 方法 & 属性 pygame.Color.r  —  获取或设置 Color 对象的红色值 pygame.Color.g  —  获取或设...
Matlab读取图像，显示H、S、V分量
wonengguwozai的博客
02-23 1万+
转自：http://blog.csdn.net/tulun/article/details/6934995 程序代码： a = imread('test.png'); hsva = rgb2hsv(a); h = hsva(:,:,1); s = hsva(:,:,2); v = hsva(:,:,3); figure, subplot(2,2,1),imsho
基于流形鉴别信息的特征选择及其结构化稀疏表示
01-13
针对启发式特征选择策略忽略了特征间相关信息导致子最优的问题, 提出一种基于流形鉴别信息的特征选择(MDFS) 算法. 该算法根据近邻信息和标签信息刻画高维数据类内和类间流形结构, 以最小化流形散度差为准则构建目标...
基于虚拟样本图像集的多流形鉴别学习算法
02-06
为了利用生成的虚拟样本中的类内变化信息有效地完成单样本人脸识别任务，提出了基于虚拟样本图像集的多流形鉴别学习算法。该算法将每类仅有的单个训练样本图像和该类的虚拟样本图像划分为互不重叠的局部块并构建流形...
论文研究-基于虚拟样本图像集的多流形鉴别学习算法.pdf
07-22
为了利用生成的虚拟样本中的类内变化信息有效地完成单样本人脸识别任务，提出了基于虚拟样本图像集的多流形鉴别学习算法。该算法将每类仅有的单个训练样本图像和该类的虚拟样本图像划分为互不重叠的局部块并构建流形...
计算机研究 -基于流形学习的数据聚类与可视化.pdf
06-28
计算机研究 -基于流形学习的数据聚类与可视化.pdf
一种基于QPSO优化的流形学习的视频人脸识别算法.pdf
05-11
一种基于QPSO优化的流形学习的视频人脸识别算法 本文提出了一种基于QPSO优化的流形学习的视频人脸识别算法，以解决视频人脸识别中的遮挡和人脸旋转问题。该算法将视频人脸识别视为图像集相似度度量问题，首先帧图像...
Manifold Alignment without Correspondence（笔记）
thystar的专栏
11-11 2739
本文是Wang Chang的论文《Manifold Alignment without Correspondence》za
Zero-shot Learning零样本学习 论文阅读（三）——Semantic Autoencoder for Zero-Shot Learning
River_J777的博客
12-27 1182
江浩然 \quad \quad \quad \quad \quad 统计1701班 \quad \quad \quad \quad \quad 201714020111
Zero-shot learning（一）：ZSL的基本概念
qq_33328642的博客
04-26 7969
** Zero-shot learning（一）：ZSL的基本概念 -------好久没中一区论文了，在此立个旗。今天把所有的思路整理出来，看过的论文之类的罗列出来。有错误的地方大家批评指正，内容多数是各界大牛的论文，大家一起研究。本文内容大家也可以随便转发或copy。 -------这一章都是基本概念，初学者、或者是对概念不清楚的等同行可以进来看看。基础比较深厚的可以去看后面的内容，或者不看，轻...
Zero-Shot Learning学习笔记 -- CVPR_2022_MSDN: Mutually Semantic Distillation Network for Zero-Shot Learn
bywl_zts的博客
09-09 749
先前的ZSL学习要么简单地将图像的全局特征与其相关的类语义向量对齐，要么利用单向注意力来学习有限的潜在语义表示。以上操作，没有有效的发现内在语义视觉特征和属性特征。说白了，以前的方法仅仅是简单地单向运用了全局的注意力机制，没有发现到网络真正注意到的属性部分，例如斑马的条纹属性，鸟的翅膀属性等等。因此，提出了一个名为的网络，目的就是为了蒸馏视觉与语义特征之前内在的语义表示。由两部分组成：一是attribute →visual attention sub-net，学习基于属性的视觉特征；
干货！基于层次适应的零样本学习
AITIME_HY的博客
04-06 2725
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！针对视觉-语义异构特征难对准的问题，我们提出一种层次视觉-语义层次适应的学习模型，通过同时进行结构对准和分布对准，学习一个具有结构和分布一致性的公共子空间，避免当前学习模型只进行分布对准而造成视觉和语义分布在不同的子流形上，从而有效提高零样本学习识别精度。并为其他visual-language 学习系统进行多模态表...
【文献阅读】用于zero-shot识别的双曲视觉嵌入学习网络（S. Liu等人，CVPR，2020）
QQ704630835的博客
09-07 1729
一、背景 文章题目：《Hyperbolic Visual Embedding Learning for Zero-Shot Recognition》 文章下载地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Liu_Hyperbolic_Visual_Embedding_Learning_for_Zero-Shot_Recognition_CVPR_2020_paper.pdf 文献引用格式：Shaoteng Liu,Jingjing.
如何解决稀疏奖励下的强化学习？
我就吃一口的BLOG
10-27 2106
如何解决稀疏奖励下的强化学习？ 来源：机器之心pro 作者：仵冀颖 编辑：Joni Zhong 强化学习（Reinforcement Learning，RL）是实现强人工智能的方法之一，在智能体（Agent）与环境的交互过程中，通过学习策略（Policy）以最大化回报...
从 RGB 到 HSV 的转换详细介绍
热门推荐
hanshanbuleng的博客
05-20 8万+
从RGB 到 HSV 的转换详细介绍1.RGB       RGB是从颜色发光的原理来设计定的，通俗点说它的颜色混合方式就好像有红、绿、蓝三盏灯，当它们的光相互叠合的时候，色彩相混，而亮度却等于两者亮度之总和，越混合亮度越高，即加法混合。        红、绿、蓝三个颜色通道每种色各分为256阶亮度，在0时“灯”最弱——是关掉的，而在255时“灯”最亮。当三色灰度数值相同时，产生不同灰度值的灰色调...
HSV颜色模型，各种颜色的大致范围参考
Li03
01-22 9954
 
基于流形学习故障诊断算法
最新发布
03-30
流形学习是一种机器学习技术，可用于将高维数据映射到低维空间中，以便更好地理解和可视化数据。基于流形学习的故障诊断算法利用这种技术来识别和定位系统中的故障。 具体来说，基于流形学习的故障诊断算法通常包括...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI记忆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值