Richpedia: A Large-Scale, Comprehensive Multi-Modal Knowledge Graph

背景：
语义网络的发展，各种知识图谱利用资源描述框架在Web上发布，使不同的实体之间的RDF链接可以用来构建一个大型的异构图，同时，视觉资源集的公众可及性有了很大的发展，在知识图谱的研究过程中，视觉资源还有很大的利用空间。一般知识图谱只关注于文本事实，学术界中缺乏完整的多模态知识图谱，这将阻碍未来多模态融合的研究，由此提出了Richpedia。
Richpedia通过向wikidata中的文本实体分布充分多样的图像来提供一个全面的多模态知识图谱，根据维基百科中的超链接和描述设置图像实体之间的视觉语义关系。Richpedia可以通过面向的查询端点在web上访问。Richpedia将全面的可视化关系资源注入到一般知识图谱中，建立了一个大的、高质量的多模态知识图谱数据集；提出了一个新的框架来构建多模态知识图谱，首先从wikidata、wikipedia和search engine收集实体和图像，通过独特的模型对图像进行过滤，根据wikipedia中的超链接和实体描述在图像实体之间分配RDF链接；将Richpedia作为开放资源发布，回答更丰富的可视化查询，进行多关系链接预测。
Richpedia的构建过程可以分为数据收集、图片处理和关系挖掘
Richpedia数据收集：
不同于传统的知识图谱，我们目的在于构建一个包含丰富图像实体及其关系的多模态数据集，从以下几个方面来填充Richpedia：从wikidata中收集知识图谱中的实体；从wikipedia中收集部分图像实体，以及收集到的KG实体与图像实体之间的关系，同时根据维基百科中的超链接和相关描述，发现图像实体之间的潜在关系；设计网络爬虫来收集每个KG实体相关的足够的图像实体。
根据定义&#x