多模态知识图谱

大致方向

1. 多模态知识图谱 MMKG: Multi-Modal Knowledge Graphs 链接
2. 多模态知识图谱用于实体消岐 Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts 链接
3. 多模态知识图谱用于推荐系统 Multi-modal Knowledge Graphs for Recommender Systems 2020CIKM 链接

主要方法

各模态单独进行训练后将结果进行融合
缺点：源头上没有考虑不同模态之间的依赖和对应关系，最终融合结果无法很好的刻画多模态数据本身蕴含的各种关联

A Multimodal Translation-based Approach for Knowledge Graph Representation Learning

构建多模态图谱，完成多模态实体链接、跨模态实体消歧等任务。

Richpedia: A comprehensive Multi-Modal Knowledge Graph. JIST 2019

商品知识图谱

和通用的大而全知识图谱不同，商品知识图谱不同分类之间有不同的关系（relation），定义诸如“时间”、“地点”、“动作”、“功能”、“品类”等本体。

实体：商品，场景

关系：<商品1，适合于，场景>

参考：电商知识图谱 https://developer.aliyun.com/article/754652