Latent Embeddings for Zero-shot Classification

78 篇文章 0 订阅
36 篇文章 0 订阅

CVPR2016

Latent Embeddings for Zero-shot Classification

本文还是针对 zero-shot classification 问题。以前基于 structured embedding frameworks 解决这个问题的思路主要如下:首先将 图像和 类别信息映射到某些多维向量空间。 一般图像的嵌入信息( Image embeddings )通过 CNN提取特征,类别嵌入信息 Class embeddings 可以通过两个方法获取:1)人工标记属性得到,2)直接从大量未标记文本资料中自动提取。然后我们学习一个discriminative bilinear compatibility 函数,使得同一类图像相近,不同类图像相远。一旦这个函数学习固定,我们可以通过该函数实现 zero-shot classification 。

本文主要 改进的就是 这个 discriminative bilinear compatibility,将其改为线性函数模型集合。针对不同类、特征图像,我们自动选择(通过 the selection being latent 实现)最好的线性函数模型来进行分类。

这里写图片描述

实验结果:

这里写图片描述

这里写图片描述

在论文Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification中,作者提出了一种新的零样本分类方法,该方法使用了嵌入反馈机制和判别特征,以提高零样本分类的准确性。在骨干网络方面,作者使用了ResNet-101作为骨干网络。下面是该方法的具体实验步骤和方法: 1. 预处理数据集:将原始图像大小调整为224x224,然后使用ImageNet数据集上的平均值进行标准化。 2. 训练ResNet-101骨干网络:使用ImageNet数据集上的预训练权重对ResNet-101进行微调,以便在零样本分类任务中提取有用的特征。 3. 从训练集中提取特征:利用微调后的ResNet-101,对训练集中的所有图像进行前向传递,并从最后一个卷积层中提取出特征。 4. 计算嵌入向量:将每个类别的特征平均值计算出来,并将其作为该类别的嵌入向量。 5. 训练分类器:使用嵌入向量和训练集中的标签来训练分类器。训练过程使用交叉熵损失函数,并使用随机梯度下降进行优化。 6. 零样本分类:对于每张测试图像,将其从骨干网络中传递,并计算其特征向量。然后,通过计算嵌入向量和特征向量之间的余弦相似度,将其归类到最相似的类别中。 以下是用伪代码表示的方法: ``` # 预处理数据集 preprocess_dataset() # 训练ResNet-101骨干网络 train_backbone_network() # 从训练集中提取特征 extract_features_from_training_set() # 计算嵌入向量 calculate_embedding_vectors() # 训练分类器 train_classifier() # 零样本分类 for each test image: feature_vector = extract_features_from_test_image() predicted_class = classify_image(feature_vector) ``` 以上就是论文Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification中对骨干网络进行微调的具体实验步骤和方法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值