Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs

最新推荐文章于 2021-12-22 19:57:13 发布

liuglen

最新推荐文章于 2021-12-22 19:57:13 发布

阅读量521

点赞数

分类专栏： meta learning

本文链接：https://blog.csdn.net/liuglen/article/details/102460258

版权

本文探讨了如何利用语义嵌入和知识图谱进行零样本识别，主要方法是基于图卷积神经网络（GCN）。在训练阶段，GCN使用词向量和类别间关系学习分类器，测试时预测未见过类别的分类器。通过结合隐含的词向量知识和显式的关系知识，GCN在类别之间迁移知识，尤其适用于图片分类问题的零样本识别挑战。

摘要由CSDN通过智能技术生成

Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs

考虑零样本的识别问题，在没有训练样本的情况下对某个类别学习一个分类器，仅仅使用该类别的词向量和其他类别（有视觉数据提供）关系。处理不熟悉或者新类别的关键在于从熟悉类别迁移知识到新类别。本文中，以图卷积神经网络为基础，提出了一种同时使用语义向量和类别间关系来预测分类器的方法。给定一个学习好的知识图谱，本文将语义向量作为每个节点的输入，在一系列图卷积之后，对每个类别得到相应的分类器。在训练过程中，用少量类别的分类器来学习GCN的参数。测试时，用这些filter来预测未见过类别的分类器。

本文同时利用了隐式的知识表示（词向量）以及显式的关系（知识图谱）来学习新类别的视觉分类器。知识图谱的每一个节点对应于一个语义类别，这些点通过关系边连接，每个节点的输入是每个类别的向量表示，之后使用图卷积在不同类之间进行知识迁移。具体的，本文训练了一个6层的GCN用于输出不同类别的分类器。

本文关注于图片分类问题，考虑两种测试设置

最终的测试类别只有零示例的类别
测试时的标签来自于见过或者未见过的类别，叫做广义的零示例设置

方法

图卷积

图卷积原本用于进行半监督的实体分类，给定一个用词向量或者文本特征表示的目标实体，目标是进行分类。举例来讲，猫和狗都可以被标注为哺乳动物，椅子和沙发都可以被标注为家具，同时假设有这么一幅图，点表示实体，边表示实体之间的关系。
形式上，给定一个有n个实体的数据集 $X,Y)=\{(x_i,y_i)\}_{i=1}^n$

最低0.47元/天解锁文章