Neurlps2024论文解析|UKnow A Unified Knowledge Protocol with Multimodal Knowledge Graph Datasets for

论文标题

UKnow: A Unified Knowledge Protocol with Multimodal Knowledge Graph Datasets for Reasoning and Vision-Language Pre-Training UKnow：一种用于推理和视觉语言预训练的多模态知识图谱数据集的统一知识协议

论文链接

UKnow: A Unified Knowledge Protocol with Multimodal Knowledge Graph Datasets for Reasoning and Vision-Language Pre-Training论文下载

论文作者

Biao Gong, Shuai Tan, Yutong Feng, Xiaoying Xie, Yuyuan Li, Chaochao Chen, Kecheng Zheng, Yujun Shen, Deli Zhao

内容简介

本文提出了一种名为UKnow的统一知识协议，旨在从数据的角度促进基于知识的研究。该协议特别关注视觉和语言模态，将数据知识分为五种单元类型：图像内、文本内、跨图像、跨文本和图像-文本，并建立了一个高效的管道，以帮助从任何数据集中构建多模态知识图谱。通过UKnow格式组织数据集，相较于常用的图像-文本对，能够打开更多的数据使用可能性。研究中收集了一个大型多模态知识图谱数据集，包含1,388,568个节点（其中571,791个与视觉相关）和3,673,817个三元组，并标注了丰富的事件标签。实验结果表明，UKnow在支持常识推理和提升视觉语言预训练方面具有潜力，能够通过统一的知识组织形式在单一数据集上评估多种任务。

分点关键点

1. UKnow协议的设计

   • UKnow协议通过将数据知识分为五种单元类型（图像内、文本内、跨图像、跨文本和图像-文本），为多模态知识图谱的构建提供了标准化的框架。这种分类使得数据的组织和使用更加高效，能够支持更复杂的推理任务。

2. 数据集的构建与规模

   • 研究团队从公共国际新闻中收集了一个大型多模态知识图谱数据集，包含1,388,568个节点和3,673,817个三元组。该数据集不仅规模庞大，还引入了层次化的事件标注，增强了数据集的结构化程度和信息丰富性。
     

3. 实验与应用

   • 在四个基准测试上进行的实验表明，UKnow在常识推理和视觉语言预训练任务中表现出色，展示了其在多模态知识图谱领域的应用潜力。通过统一的数据组织形式，UKnow能够在单一数据集上评估多种下游任务，提升模型的性能。

4. 知识图谱的逻辑连接

   • UKnow协议强调知识图谱中节点之间的逻辑连接，这种连接不仅基于原始数据格式，还考虑了数据内部的关系。这种逻辑连接为下游任务提供了更丰富的上下文信息，促进了模型对复杂事件的理解。
     

中文关键词

1. 统一知识协议
2. 多模态知识图谱
3. 常识推理
4. 视觉语言预训练
5. 数据集构建
6. 事件标注

Neurlps2024论文合集：

Neurlps2024论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！