多模态大模型训练数据集汇总介绍

RefCOCO、RefCOCO+、RefCOCOg

这三个是从MS-COCO中选取图像得到的数据集，数据集中对所有的 phrase 都有 bbox 的标注。

• RefCOCO 共有19,994幅图像，包含142,209个引用表达式，包含50,000个对象实例。
• RefCOCO+ 共有19,992幅图像，包含141,564个引用表达式，包含49,856个对象实例。
• Ref COCOg 共有26,711幅图像，包含85,474个引用表达式，包含54,822个对象实例。

在RefCOCO和RefCOCO +遵循train / validation / test A / test B的拆分，RefCOCOg只拆分了train / validation集合。

RefCOCO的表达式分别为120,624 / 10,834 / 5,657 / 5,095，RefCOCO+的表达式分别为120,191 / 10,758 / 5,726 / 4,889。

testA中的图像包含多人，testB中的图像包含所有其他对象。RefCOCO+中的查询不包含绝对的方位词，如描述对象在图像中位置的右边。RefCOCOg的查询长度普遍大于RefCOCO和RefCOCO +：RefCOCO、RefCOCO +、RefCOCOg的平均长度分别为3.61、3.53、8.43。

数据集示例如下图所示，每个图的 caption 描述在图片正下方，绿色是根据下面的 caption 标注的 gt，蓝色是预测正确的框，红色是预测错误的框。