Latent Embeddings for Zero-shot Classification

最新推荐文章于 2024-08-28 09:47:02 发布
最新推荐文章于 2024-08-28 09:47:02 发布
阅读量2.8k 收藏
点赞数
分类专栏： ZJ CVPR 2016 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cv_family_z/article/details/52066547
版权
深度学习 同时被 3 个专栏收录
105 篇文章 0 订阅
订阅专栏
ZJ
78 篇文章 0 订阅
订阅专栏
CVPR 2016
36 篇文章 0 订阅
订阅专栏

CVPR2016

Latent Embeddings for Zero-shot Classification

本文还是针对 zero-shot classification 问题。以前基于 structured embedding frameworks 解决这个问题的思路主要如下：首先将 图像和 类别信息映射到某些多维向量空间。 一般图像的嵌入信息（ Image embeddings ）通过 CNN提取特征，类别嵌入信息 Class embeddings 可以通过两个方法获取：1）人工标记属性得到，2）直接从大量未标记文本资料中自动提取。然后我们学习一个discriminative bilinear compatibility 函数，使得同一类图像相近，不同类图像相远。一旦这个函数学习固定，我们可以通过该函数实现 zero-shot classification 。

本文主要 改进的就是 这个 discriminative bilinear compatibility，将其改为线性函数模型集合。针对不同类、特征图像，我们自动选择（通过 the selection being latent 实现）最好的线性函数模型来进行分类。

这里写图片描述

实验结果：

这里写图片描述

这里写图片描述

cv_family_z
关注
专栏目录
大语言模型的zeroshot学习原理与代码实例讲解
AGI通用人工智能之禅
08-09 54
1. 背景介绍 1.1 机器学习的范式演进：从监督学习到Zero-Shot学习 机器学习的传统方法，如监督学习，需要大量的标注数据进行训练。然而，在现实世界中，获取标注数据的成本往往很高，甚至有些情况下无法获取。为了解决这个问题，研究者们一直在探索新的学习范
[CVPR 2018]Discriminative Learning of Latent Features for Zero-Shot Recognition
01-07
作者认为当前(2018年前)zero-shot研究的核心主要是在视觉空间和语意空间中学习合适的映射关系，而忽视了学习ZSL问题中 有判别力的表示。几乎所有的模型都有着相似的范式，即通过手工提取图像特征或者通过预训练CNN...
Latent Embeddings for Collective Activity Recognition
physuleo的博客
05-25 411
个人总结： 第一次看到这个方面的论文，方法上还是用了后验概率来建立模型，不过代码并没有开源，具体细节还要商榷。 摘要 提出的问题：传统的手工定制的特征只能定义有限范围内的关系。在一个集体内，个体之间复杂的依赖关系不能很好地建立模型。 解决方法：通过在特征空间（feature space）嵌入潜在变量（embedding latent variable），利用深度学习框架学习特征映射函数。 ...
论文阅读问题总结(二)：Meta-Learning With Latent Embedding Optimization
qq_32599109的博客
03-18 681
1.本文提出得主要想解决的问题是什么？ 作者在本文中提到了基于梯度的元学习技术(尤其是学习到公共初始化参数随后通过调整初始化参数来适应特定任务的元学习方法：MAML, Reptile)使用特定任务的小样本数据集来通过梯度下降调整高维参数使得泛化困难(我的理解是小样本调整高维参数的适应过程容易过拟合)。 2.本文作者试图如何解决上述问题？ 1.设计模型使每个待解决的特定任务的初始化参数与此任务的训练集相关，使用Relation Network将每个任务的初始化参数引入数据集之间的相关性。 2.学习一个高维模型
Meta-Learning with Latent Embedding Optimization
一刀不二
05-27 1834
LEO 思想 MAML 虽然可以通过少量梯度下降就能找到适应新任务的最优参数，然而对extreme low-data regimes在高维参数空间上操作时，还是过于不便。而LEO 则通过学习关于模型参数的a data-dependent latent generative representation，并在这种低维的latent space 中执行基于梯度下降，可以一定程度上绕过这些痛点。LEO 算法能够捕获数据中的不确定性，将基于梯度的自适应优化过程，从模型参数的高维空间中分离出来，并通过实验...
零样本文本分类任务的简单教程
weixin_51723388的博客
12-29 2090
基于huggingface的零样本文本分类 Zero-shot Text Classification with Hugging Face
模型能力赋能搜索——零样本分类（Zero-Shot Classification）在搜索意图识别上的探索
Angus
12-09 1171
从测试用例来看，Zero-Shot Classification分类效果还是很不错的。可以使用该模型，进行问题意图识别的。因为搜索框，对话框，被传进来的内容类型是未知的。但是不同类型的问题，去到不同的分支上，Zero-Sh效果一定是最好的。就像上边的测试案例。通过模型，可以推测出来，输入框的内容到底是什么意图，是总结任务？还是摘要任务？还是问答任务？ 在模型中，我们只需要去定义已知的和能够处理的分支即可。轻松利用模型的能力，来做意图识别。当然这是一个初步的探索。想要获得更好的效果，还会要进行模型调优的。
Multi-class Latent Concept Pooling for Computer-Aided Endoscopy Diagnosis
02-08
为了解决EEMRs的多类别问题，我们提出了名为“多类别潜在概念池化”（Multi-class Latent Concept Pooling, MLCP）的简单但有效的聚合方法。这种方法逐步地从不同类别的EEMRs中学习一个代码书，并基于软加权策略对...
Exploit Latent Dirichlet Allocation for One-Class Collaborative Filtering
02-09
一、推荐系统与协同过滤问题 推荐系统的目标是自动向每个用户推荐他们可能感兴趣的项目。传统的协同过滤方法通过挖掘用户评分历史数据来预测用户的兴趣，这些评分数据是多值分数，可以被归类为“多类”推荐问题。...
A popularity scaled latent space model for large-scale directed social network
02-11
本文介绍了一种适用于大型有向社交网络的人气缩放潜空间模型（Popularity Scaled Latent Space Model）。该模型针对有向社交网络中的度异质性、互惠性和传递性等特性进行了综合考虑，旨在提供一种更合理的网络生成...
zero shot classification提取主题词
weixin_48262500的博客
08-17 1090
基于 NLI 的零镜头文本分类。zero shot classification提出了一种使用预训练的 NLI 模型作为现成的零样本序列分类器的方法。该方法的工作原理是将要分类的序列设置为 NLI 前提，并从每个候选标签构建一个假设。例如，如果我们想评估一个序列是否属于“政治”类，我们可以构建一个“本文是关于政治”的假设。然后将蕴涵和矛盾的概率转换为标签概率。...
探索元学习的深度——Latent Embedding Optimization的奇妙之旅
最新发布
gitblog_00171的博客
08-28 316
探索元学习的深度——Latent Embedding Optimization的奇妙之旅 leo项目地址:https://gitcode.com/gh_mirrors/leo2/leo 在快速适应新任务的时代，元学习成为了人工智能领域的热点。今天，我们将焦点对准一个卓越的开源项目：Meta-Learning with Latent Embedding Optimization（简称LEO）。该项...
深度学习：zero-shot-learning（三）LatEm_cvpr2016
weixin_41108334的博客
09-26 757
https://blog.csdn.net/u011070272/article/details/73730244 https://blog.csdn.net/cv_family_z/article/details/52066547 Latent Embeddings for Zero-shot Classification _cvpr2016 图像嵌入信息 image embeddings...
Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification (ECCV2020)
剑启郁兰的博客
09-25 1082
近来零样本学习文章大多基于生成模型，这篇文章也是在 GAN 的基础上更进一步来提高性能的。本文基于 VAE-GAN，作者说其他人用带 decoder 的模型，在训练之外就把 decoder 丢掉了，这很不好，因此作者倡议在训练、特征生成和分类都使用语义嵌入解码器 semantic embedding decoder (SED)。另外，使用的 feedback loop。创新点有两个，归纳起来就是 提出 semantic embedding decoder (SED)，并设计 feedback module
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
wzk4869的博客
03-09 1万+
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
few-shot和zero-shot
Paloma_Gao的博客
12-13 2545
Meta Learning & Few-shot Learning
huggingface pipeline零训练样本分类Zero-Shot Classification的实现
我的博客
02-12 532
huggingface pipeline零训练样本分类的实现 Zero-Shot Classification
Zero-shot（零次学习）简介
热门推荐
gary101818的博客
02-19 2万+
所以模型需要知道的信息是马的样本、老虎的样本、熊猫的样本和样本的标签，以及关于前三种动物和斑马的描述。假设我们已知驴子和马的形态特征，又已知老虎和鬣狗都是又相间条纹的动物，熊猫和企鹅是黑白相间的动物，再次的基础上，我们定义斑马是黑白条纹相间的马科动物。如今十分火热的纯监督模型往往需要足够多的样本才能训练出足够好的模型，并且用熊猫训练出来的分类器，只能对熊猫进行分类，其他物种都无法识别，也无法进行特征的综合推理，这样的模型功能还有待完善。ZSL这样的设置其实就是上文中识别斑马的过程中，已知的条件。
论文Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification是如何对骨干网络进行微调的？有哪些具体实验步骤和方法？体现在伪代码上又是怎么样的？
05-24
在论文Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification中，作者提出了一种新的零样本分类方法，该方法使用了嵌入反馈机制和判别特征，以提高零样本分类的准确性。在骨干网络方面，作者使用了ResNet-101作为骨干网络。下面是该方法的具体实验步骤和方法： 1. 预处理数据集：将原始图像大小调整为224x224，然后使用ImageNet数据集上的平均值进行标准化。 2. 训练ResNet-101骨干网络：使用ImageNet数据集上的预训练权重对ResNet-101进行微调，以便在零样本分类任务中提取有用的特征。 3. 从训练集中提取特征：利用微调后的ResNet-101，对训练集中的所有图像进行前向传递，并从最后一个卷积层中提取出特征。 4. 计算嵌入向量：将每个类别的特征平均值计算出来，并将其作为该类别的嵌入向量。 5. 训练分类器：使用嵌入向量和训练集中的标签来训练分类器。训练过程使用交叉熵损失函数，并使用随机梯度下降进行优化。 6. 零样本分类：对于每张测试图像，将其从骨干网络中传递，并计算其特征向量。然后，通过计算嵌入向量和特征向量之间的余弦相似度，将其归类到最相似的类别中。 以下是用伪代码表示的方法： ``` # 预处理数据集 preprocess_dataset() # 训练ResNet-101骨干网络 train_backbone_network() # 从训练集中提取特征 extract_features_from_training_set() # 计算嵌入向量 calculate_embedding_vectors() # 训练分类器 train_classifier() # 零样本分类 for each test image: feature_vector = extract_features_from_test_image() predicted_class = classify_image(feature_vector) ``` 以上就是论文Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification中对骨干网络进行微调的具体实验步骤和方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值