ViLT-多模态论文复现

写在前面

个人学习记录之作。仅供参考。

相关资料

关于多模态，其实这个图片已经基本上说尽了。

然后特别推荐B站李沐大神的论文讲解：多模态论文串讲·上【论文精读·46】

 论文地址：https://arxiv.org/abs/2102.03334

论文代码地址：GitHub - dandelin/ViLT: Code for the ICML 2021 (long talk) paper: "ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision"

代码下载下来之后，按教程先装环境。

遇到了几个问题。

1.包因为版本的改动，需要进行修改。

 如图所示，你需要将

./VILT/vilt/gadgets/my_metrics.py中的头文件改为
from torchmetrics import Metric

第二，需要自己下载权重文件，在GIT当中有，比较大，大约1.2GB一个。

下载好之后，同目录下新建weights，放进去。

第三测试，我直接运行了demo文件

看了下输出，基本上全是warning，可能是因为版本吧，我这边提醒好多库更新了。

进来后是这个样子，这个是demo_vqa.py的

 

这个是demo.py的，

我测试了几个。运行报错。

 

因为主要是为了学习思想，代码细节，我就不深究了。

看了下git，使用命令行启动。

python demo_vqa.py with num_gpus=0 load_path="weights/vilt_vqa.ckpt" test_only=True

 测试1：请问花是什么颜色

测试2：请问这是什么？

 

测试3：这是什么花？

 

因为这是用的官方的图，我想测试下自己的。

百度了一个猫，大概是这样

 

 测试1：这是什么？

测试2，这是什么猫？

 

测试3：这个猫是什么颜色？

 

 OK，反正跑通了。。。

后续继续研究一下如何训练自己数据集。