关于Visual Question Answering Eval

一些重要的链接

• vqa_eval官方API链接：http://www.visualqa.org/evaluation.html
• VQA 官网的链接：https://visualqa.org/
• VQA CP数据集及论文链接：https://www.cc.gatech.edu/~aagrawal307/vqa-cp/

VQA 1.0

• Test的地址：www.codalab.org，分为test-dev, test-std，其中dev的所有QA pairs都来自于test-std。一般用来测试的json文件，前者也会比后者小很多

注意事项：

1. test-std上传数量有限，每个账号总共只能上传5次。且也有每日上限制。
2. 上传前，把json文件压缩为results.zip再上传，其中json文件命名格式需为vqa_[task_type]_[dataset]_[datasubset]_[name]_results.json, 例如：vqa_OpenEnded_mscoco_model-name_results.json，其中model-name可以替换

VQA 2.0

• Test的地址：https://evalai.cloudcv.org/web/challenges/challenge-page/514/overview，其它同VQA 1.0
• 注意事项同VQA 1.0，但是它不需要压缩为results.zip，且也没有命名的限制，相对方便很多。

VQA-CP

目前CP的数据集上，只给出了train和test（这里test其实就是validation，因为有answer），所以并不需要打榜。简单的report results即可