Zero shot learning

最新推荐文章于 2024-08-02 01:18:02 发布
最新推荐文章于 2024-08-02 01:18:02 发布
阅读量3.2k 收藏 6
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51143009/article/details/121669619
版权
本文探讨了零次学习(Zeroshot learning)中的关键挑战，如领域漂移、原型稀疏问题和语义间隔，介绍了如何通过岭回归改进、K近邻调整和语义一致性来提升模型性能。通过实例展示了自编码和调整映射策略在AwA数据集上的显著效果。
摘要由CSDN通过智能技术生成

Zero shot learning

主要考察的问题是如何建立语义和视觉特征的关系（视觉特征一般用预训练好的CNN提取特征，不再进行fine-tine）

为了预测从未在训练集上出现的目标种类，仿照人的思维迁移，能根据某些特征描述（他和谁长得像，有点类似于科学家第一次看见鸭嘴兽的感觉），猜测一个从未见过的目标种类。

img

Zero shot learning:假设斑马是未见过的类别，但根据描述和过去知识的印象即马（和马相似）、老虎（有条纹）、熊猫（颜色）相似进行推理出斑马的具体形态，从而能对新对象进行辨认。

零次学习就是希望能够模仿人类的这个推理过程，使得计算机具有识别新事物的能力

img

过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cKclHUwA-1638407670286)(C:\Users\Lan\AppData\Roaming\Typora\typora-user-images\image-20211017221158387.png)]

Zero shot 需要解决的困难

  • 获取合适的类别描述A（进展较小，描述的获取主要集中于一些NLP方法且难度较大）
  • 建立一个合适的分类模型（主要工作集中于此，目前的方法较多，比较容易出结果）

建立合适的分类模型

主要工作：建立特征空间与语义空间之间的映射

1.分类：最简单形式是岭回归👇（均方差+范数约束）。 x x x

min ⁡ ∥ X t r W − A t r ∥ 2 + η Ω ( W ) （ 1 ） \min \left\|X_{t r} W-A_{t r}\right\|^{2}+\eta \Omega(W)（1） min∥Xtr​W−Atr​∥2+ηΩ(W)（1）
在这里插入图片描述

岭回归有效的原因是训练集类别语义与测试集类别语义之间的联系很密切。

Zero shot存在的问题

img

①领域漂移

即把没见过的类别识别成见过的类别，无法正确识别出新出现的类别。

同一属性在不同类别中视觉特征相差很大，都有尾巴但在特征空间上尾巴属性的分布是不一样的，这就会导致使用斑马训练的目标检测器可能把新出现的猪照样识别成驴。

解决措施
主要是对视觉空间到语义空间的映射增加约束

样本的特征维度比语义维度大，建立X到S的映射往往会丢失特征，为了保留更多的信息，保持更多的丰富性，最流行的做法是将映射到语义空间中的样本，再重建回去，这样学习到的映射就能够得到保留更多的信息。

作者利用测试集的未标注图像，得到测试图像的视觉空间V，映射的语义空间A，将V和A做主成分相关分析，映射到一个新的空间Z，Z很好的align原有的视觉空间V。

因此，在原来简单岭回归[1]的基础上，可以将目标函数改为
min ⁡ ∥ X t r − W T A t r ∥ 2 + λ ∥ W X t r − A t r ∥ 2 ( 2 ) \min \left\|X_{t r}-W^{T} A_{t r}\right\|^{2}+\lambda\left\|W X_{t r}-A_{t r}\right\|^{2} (2) min∥∥​Xtr​−WTAtr​∥∥​2+λ∥WXtr​−Atr​∥2(2)
其实是一个简易的自编码过程。

在AwA数据集上进行测试，可以得到83.2%的准确率，比简单的岭回归(1)提高了24.1%。

②原型稀疏问题prototype sparsity problem

只用给定的语义信息无法很好的表示类的分布，会出现原型稀疏问题，就是一个原型无法很好的表示类别的分布。

2.枢纽点问题(hubness problem)

高维空间中，某些点会成为大多数点的最近邻点，在ZSL最后计算正确率时使用的KNN会受到hubness problem的影响，而且基于岭回归的方法会加重hubness problem。

解决措施

① 如果模型建立的方式为岭回归，那么可以建立从语义空间到特征空间的映射(将目标函数（1）改为👇，从而不加深hubness problem对结果的影响：
min ⁡ ∥ X t r − A t r W ∥ 2 + η Ω ( W ) ( 3 ) \min \left\|X_{t r}-A_{t r} W\right\|^{2}+\eta \Omega(W)(3) min∥Xtr​−Atr​W∥2+ηΩ(W)(3)

在AwA数据集上，这种简单的改变能够得到76.5%的正确率，比原本提高了17.4%。

3.语义间隔

样本的特征往往是视觉特征，比如用深度网络提取到的特征，而语义表示却是非视觉的，这直接反应到数据上其实就是：样本在特征空间中所构成的流型与语义空间中类别构成的流型是不一致的，这使得直接学习两者之间的映射变得困难。

本质：两者流型结构不一致

img

解决措施

用类别语义表示的K近邻样本点重新表示类别语义，使得两者的流型调整到一致，再学习两者之间的映射

4.semantic loss问题（研究的较少）

5.样本通过映射坍塌到一点（研究的较少）

用类别语义表示的K近邻样本点重新表示类别语义，使得两者的流型调整到一致，再学习两者之间的映射

4.semantic loss问题（研究的较少）

5.样本通过映射坍塌到一点（研究的较少）

Camellia@
关注
专栏目录
零样本学习 (ZeroShot Learning)
AI架构设计之禅
09-15 1078
零样本学习 (Zero-Shot Learning) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词 零样本学习，分类，预训练模型，迁移学习，知识蒸馏，多标签分类，跨模态学习
Zeroshot Learning原理与代码实战案例讲解
AI天才研究院
05-24 302
1. 背景介绍 1.1. 从监督学习到零样本学习：人工智能的新挑战 近年来，人工智能领域取得了令人瞩目的进展，特别是在监督学习方面。然而，传统的监督学习方法需要大量的标注数据才能训练出有效的模型，这在很多实际应用场景中是不现实的。例如，在图像识别领域，我们需要为每个类别提供成
Zero-Shot Learning零样本学习 入门 基本概念
River_J777的博客
12-19 1750
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Zero-shot learning（零样本学习）
weixin_30341735的博客
07-07 1673
一、介绍 在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。 ...
Zero Shot | 一文了解零样本学习
zenRRan的博客
01-11 1万+
每天给你送来NLP技术干货！来源｜知乎 作者｜恒大大地址｜https://zhuanlan.zhihu.com/p/142057964报道｜人工智能前沿讲习网上有一些关于零样本学习的讨论...
零次学习（Zero-Shot Learning）
HelloWorld的博客
05-24 2141
这可以通过多种方式实现，例如，可以训练一个神经网络，使得同一类别的样本的特征在类别嵌入空间中尽可能接近，而不同类别的样本的特征在类别嵌入空间中尽可能远离。请注意，这只是ZSL的一个非常简化的版本，实际的ZSL模型可能会考虑更复杂的情况，例如类别间的关系，或者使用更复杂的映射函数等。我建议你在阅读这些论文的同时，也查阅一下他们的引用文献，以了解更多相关的工作。零次学习（Zero-Shot Learning，ZSL）的基本原理是通过学习已知类别和语义描述之间的映射，从而理解并识别新的、未曾见过的类别。
零样本学习 (ZeroShot Learning)【系列文章】
AI大模型应用之禅
06-28 589
关键词：零样本学习, 机器学习, 人工智能, 知识迁移, 语义表示随着深度学习技术的快速发展，机器学习模型在许多任务中取得了显著的成功。然而，这些模型通常需要大量的标注数据来进行训练。然而，在实际应用中，获取充足的标注数据往往是困难且昂贵的。特别是在一些长尾分布的任务中，某些类别的数据可能极为稀少甚至不存在，这使得传统的监督学习方法难以奏效。为了解决这一问题，零样本学习（ZeroShot Learning, ZSL）应运而生。零样本学习的目标是在没有见过某些类别训练样本的情况下，仍能对这些类别进行识别和分类
零射学习 (ZeroShot Learning) 原理与代码实例讲解
最新发布
AI大模型应用之禅
08-02 162
零射学习 (Zero-Shot Learning) 原理与代码实例讲解 1.背景介绍 1.1 传统机器学习的局限性 在传统的机器学习中,我们通常需要大量的标记数据来训练模型,这对于一些数据稀缺或标记成本
（转）零次学习（Zero-Shot Learning）入门
热门推荐
一路向北
08-22 4万+
零次学习（Zero-Shot Learning）入门 小栗子    转自：https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.399ce44aXsg7cN  谢谢作者 事物的本质反映世界构成的规律 408 人赞了该文章 很久没有更文章了，主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的...
Zero-shot Learning学习笔记
爱学习爱运动的专栏
11-01 708
Zero-shot Learning学习笔记
DL概念之zero-shot learning
C++
12-10 291
Zero-shot learning       zero-shot learning 指在训练模型时，没有这个类别的训练样本。但是我们可以学习到一个映射/模型X->Y。若此映射/模型足够好的话，我们就可以处理没有看到的类了。 比如，我们在训练时没有看见过狮子的图像，但是我们可以用这个映射得到狮子的特征。一个好的狮子特征，可能就和猫，老虎等等比较接近，和汽车，飞机比较远离。      ...
Zero-shot Learning / One-shot Learning / Few-shot Learning
清风与归
01-04 684
本文转载自https://blog.csdn.net/JNingWei/article/details/79235019，感谢原博主整理分享 1. Introduction 在 迁移学习 中，由于传统深度学习的 学习能力弱，往往需要 海量数据 和 反复训练 才能修得 泛化神功 。为了 “多快好省” 地通往炼丹之路，炼丹师们开始研究 Zero-shot Learning / One-shot L...
PyTorch深度学习实战（40）——零样本学习(Zero-Shot Learning)
盼小辉丶的博客
04-01 3045
零样本学习 (Zero-Shot Learning) 旨在解决传统监督学习中，当训练数据中不存在某个类别的样本时，如何对该类别进行分类的问题。在传统监督学习中，分类模型需要通过训练数据学习到每个类别的特征和模式，并在测试阶段根据这些学习到的知识对新样本进行分类。然而，在现实世界中，我们无法获得所有可能类别的训练样本，因此零样本学习成为了一种重要的解决方案。在本节中，我们将学习零样本学习的基本概念，并使用 PyTorch 实现零样本学习模型。
Zero-shot Learning 综述2
xiaohuilang6的博客
04-26 636
3. 非线性映射 典型文章：Latent Embeddings for Zero-Shot Classification (LatEm)-2016 CVPR 通过一个隐变量，将SJE模型扩展为非线性 学习线性兼容函数并不特别适合于具有挑战性的细粒度分类问题。对于细粒度分类，需要一个能够自动将具有相似属性的对象分组在一起的模型，然后为每个组学习一个单独的兼容性模型。例如，可以分别学习两种不同的线性函数来区分棕色翅膀的蓝鸟和其他蓝色翅膀的蓝鸟。 主要贡献： 提出学习线性模型的集合，同时允许每个图像类.
Zero-shot Learning
王尚权 qq:2515162716
03-26 407
https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.399ce44aXsg7cN https://blog.csdn.net/tianguiyuyu/article/details/81948700
zero-shot learning
keyanxiaocaicai的专栏
12-17 674
转载自：https://www.zhihu.com/question/50996014
Zero-Shot learning
qq_38096703的博客
06-14 1万+
Zero-Shot learning在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便...
zero-shot learning-零样本学习
sinat_28056533的博客
06-28 1855
zero-shot learning 是为了能够识别在测试中出现，而在训练中未遇到过的数据类别。例如识别一张猫的图片，但在训练时没有训练到猫的图片和对应猫的标签。那么我们可以通过比较这张猫的图片和我们训练过程中的那些图片相近，进而找到这些相近图片的标签，再通过这些相近标签去找到猫的标签。（个人认为zero-shot learning应该属于迁移学习的一种。）...
zero shot learning
03-16
零样本学习（Zero Shot Learning）是一种机器学习方法，它的目标是从没有在训练数据中见过的类别中进行分类。在零样本学习中，模型可以利用先前学习到的知识和对已知类别的理解来对未知类别进行分类。这种方法通常利用类别之间的关系和语义信息，例如通过使用词向量来表示不同的类别，并根据这些向量之间的相似性进行分类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值