【学习记录】开源多模态检索/问答数据集

---

写在前面

仅作个人学习记录用。本文主要记录部分开源多模态/问答数据集的信息（持续更新）

通用多模态检索/问答数据集

1. ALLaVA-4V

数据链接：

https://huggingface.co/datasets/FreedomIntelligence/ALLaVA-4V

代码链接：

https://github.com/FreedomIntelligence/ALLaVA

数据样例：

2. LLaVA-v1.5-mix665k

数据链接：

https://huggingface.co/datasets/liuhaotian/LLaVA-Instruct-150K/blob/main/llava_v1_5_mix665k.json

代码链接：

https://github.com/haotian-liu/LLaVA

数据样例：

66.5w视觉对话微调数据集构成：

GQA数据集：

OCR-VQA数据集：

OK-VQA（需要外部知识视觉问答数据集）：

A-OKVQA（需要外部知识视觉问答数据集）：

VQAv2数据集（成对类似图片，每个问题对应两个不同的答案）：

Textcaps数据集（用于图像字幕生成中的阅读理解任务）：

VG数据集（为每张图像提供了多个区域的描述和QA对，以及整张图像的场景图）：

3. ShareGPT4V 训练数据集

数据链接：
https://github.com/InternLM/InternLM-XComposer/blob/main/projects/ShareGPT4V/docs/Data.md

4. MiniGPT-4 微调数据集

数据链接：
（第一阶段）https://github.com/Vision-CAIR/MiniGPT-4/blob/main/dataset/README_1_STAGE.md
（第二阶段）https://github.com/Vision-CAIR/MiniGPT-4/blob/main/dataset/README_2_STAGE.md

5. ShareGPT4V 训练数据集

数据链接：
https://huggingface.co/datasets/Lin-Chen/ShareGPT4V

6. OmniCorpus

数据链接：

https://huggingface.co/datasets/OpenGVLab/OmniCorpus-CC-210M

代码链接：

https://github.com/OpenGVLab/OmniCorpus

数据样例：

7. MINT-1T

数据链接：

https://huggingface.co/datasets/mlfoundations/MINT-1T-HTML

代码链接：

https://github.com/mlfoundations/MINT-1T

数据样例：

其他（领域）多模态检索/问答数据集

1. GeoGPT4V（用于解决几何问题）

数据链接：
https://huggingface.co/datasets/caishihao/GeoGPT4V-1.0

2. IconQA（抽象图表理解）

数据链接：
https://huggingface.co/datasets/lmms-lab/ICON-QA

3. 甲骨文多模态数据集

数据链接：
https://www.jgwlbq.org.cn/dt/oracleFragment