（CVPR，2023）大规模知识图谱下的零样本目标分类

Zero-shot Object Classification with Large-scale Knowledge Graph

相关资料

论文：Zero-shot Object Classification with Large-scale Knowledge Graph

摘要

零样本学习是针对预测未见类别的研究，它可以解决在训练时未预见到的类别问题以及缺乏标记数据集的问题。零样本目标分类的方法之一是使用知识图谱，这是一组显性知识。由于识别限于知识图谱中包含的类别，并且随着图谱大小的不同，类别之间的关系在数量和质量上都有望变得更加丰富，因此处理一个包含尽可能多类别的大规模知识图谱是可取的。我们使用的知识图谱包含的类别数量大约是现有研究中主要使用的知识图谱的七倍，以实现对更多类别的分类并实现更准确的识别。在使用大规模知识图谱时，预计噪声节点和边的数量会增加。因此，我们提出了一种方法，通过知识图谱中类别之间的位置关系和边的类型，从整个图中提取有用信息。我们对现有研究中无法分类的图像进行了分类，并展示了所提出数据提取方法与使用整个图谱相比提高了性能。

引言

为了执行零样本目标分类，应该使用训练数据集中的类别所获得的知识，来预测在训练时不存在的未见类别。一种方法是使用知识图谱，如WordNet和ConceptNet。
零样本目标分类的优势在于无需训练数据集即可执行，但它限于知识图谱中包含的类别。此外，随着图谱大小的不同，类别之间的关系在数量和质量上都有望变得更加丰富。因此，使用包含尽可能多类别的大规模知识图谱是可取的。
我们的工作贡献是：

• 在零样本目标分类中，我们应用了大规模知识图谱来对现有研究中未作为识别目标的类别进行分类。
• 在将大规模知识图谱应用于零样本目标分类时，我们提出了基于类别之间的语义连接和关系类型从知识图谱中提取有效信息的方法。
• 我们通过实验表明，所提出数据提取方法提高了零样本目标分类的性能。

方法

与以往使用知识图谱的研究一样，本研究采用的方法是将嵌入的语义特征作为输入信息，并构建一个通过知识图谱的图卷积网络（GCN）来对零样本类别进行分类的对象分类模型。为了使用大规模知识图谱，模型构建基于Wang等人的框架。然而，包括在ConceptNet中的类别是识别的目标，包括那些无法通过基于WordNet的方法进行分类的类别。此外，为了处理由于ConceptNet中的大规模概念而预计会增加的噪声节点和边，我们使用知识图谱中的类别位置关系和边的类型等图信息，从整个图中提取仅对零样本对象分类有效的信息。

整体流程

1. 使用预训练的ResNet50的最后一层权重作为训练数据，训练基于从ConceptNet提取的知识图谱的GCN。GCN的输入是每个节点对应的GloVe词特征嵌入向量，每个节点输出对应于ResNet50预训练类别的最后一层权重的特征向量。在此训练中，最小化了L2距离。学习到的GCN除了训练类别之外，还输出了零样本对象分类的目标类别的预测分类器的权重。预测分类器被替换为ResNet50的最后一层。
2. 通过冻结预测分类器权重，通过学习训练类别的分类任务，微调原始分类器部分，该部分提取图像特征。

通过上述训练和微调，可以对零样本对象分类的目标类别进行分类。图卷积网络。由Kiph等人[9]提出的GCN可以描述如下：

$H^{(\ell +1)}=\sigma ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(\ell )}{W}^{(\ell }$