ofa_pytorch图像理解模型

OFA

本项目的原理、步骤适用于OFA中的Image Captioning算法，OFA项目中的其它算法使用方法类似。

论文

OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework

• https://arxiv.org/pdf/2202.03052.pdf

模型结构

先将图像用卷积进行分块以降低计算量，再对每一块进行展平处理变成序列，然后将图像序列与NLP序列一起放入encoder编码，再将encoder编码与target在decoder中一起提取特征输出预测结果，整体结构由encoder-decoder组成。

算法原理

借鉴《Transformer is all you need！》算法论文中的Transformer结构，利用注意力模块attention提取特征，本文的核心思想是将文本、图像、检测目标用统一的词表进行序列编码，然后就可以用同一个模型结构训练、预测，从而使模型具有更强的通用性。

环境配置

mv OFA_pytorch OFA # 去框架名后缀
mkdir -p OFA/checkpoints
../../checkpoints/ofa_large.pt # finetune训练前，下载预训练权重ofa_large.pt到checkpoints文件夹下。