2.3 准备数据集
在本项目中用到了Multi30k数据集和WIT数据集,在本节的内容中,将详细讲解获取这两个数据集的过程。
2.3.1 准备Multi30k 数据集
Multi30k 是一个专注于多模态机器翻译和图像描述生成的基准数据集,广泛用于研究视觉和语言之间的关系。Multi30k数据集特点如下:
- 包含来自 Flickr30k 和 MSCOCO 数据集中约 3 万张图像。
- 每张图像都有描述性文本,提供 1-5 条英文注释。
- 文本注释翻译为多种语言,包括德语、法语、捷克语等。
- 可以实现图像到文本的生成,能够根据图像生成描述性文本。