OCR多模态模型Vary的论文阅读笔记

最新推荐文章于 2024-05-16 17:30:16 发布

努力米花开

最新推荐文章于 2024-05-16 17:30:16 发布

阅读量1.6k

点赞数 15

文章标签： ocr 笔记深度学习语言模型人工智能

本文链接：https://blog.csdn.net/wentinghappyday/article/details/135765365

版权

项目github地址 https://github.com/Ucas-HaoranWei/Vary

论文地址 https://arxiv.org/pdf/2312.06109.pdf

项目主页 Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models

一、提前的知识

clip模型的原理理解

这个模型是基于clip模型的范式的，因此我们先简单了解一下clip模型的构成。

简单的概括clip模型（CLIP 模型解读 - 知乎）

用图像编码器把图像编码成向量 a；
用文本编码器把文本编码成向量 b；
计算 a·b，
如果 a 和 b 来自一对儿配对的图和文字，则让 a·b 向 1 靠近；
如果 a 和 b 来自不配对儿的图和文字，则让 a·b 向 0 靠近；

clip模型中的text encoder和image encoder展开可以分别分为两个部分，以文本为例，其实可以分为一个text vocabulary,将纯文本首先通过text vocabulary词表得到每个词对应的text ID，然后进行text embedding得到text tokens；类似的image encoder也可以从概念上理解成一个vision vocabulary模块和image embedding模块，得到image tokens,当然这里的vision vacabulary是隐性的。最后clip对齐image token和text tokens的长度，然后计算图片向量和文本向量之间的相似度来判断图片文本之间是否是相似的。

这里需要着重理解一下vision vocabulary这个概念。text vocabulary是显式的，我们可以直接通过bpe等算法得到一批训练预料合适的text vocabulary,如果出现新的单词不在训练预料的text vocabulary中，那么我们说这些文本是out of vocabulary的。那么对于图片来说呢，如果一种图片风格不在原本的训练预料图片风格中（比如原本是采用风景动物等图片做训练，结果出现一个文档图片，需要text encoder来学习文本图片里面的内容，那么我们直观可以认为这也是一种vision vocabulary的out of vocabulary. vision vocabulary可以理解为一个训练好的视觉模型，它能够稳定表示的那些图片。对于不在这个训练集风格范围内的图片，就会泛化能力差，因此这些图片也可以被认为是out of vocabulary.

多模态的传统形式

上面两张子图就是多模态的传统形式了。在传统的模式中，首先一个text vocabulary用来处理prompt,然后用text embedding得到text tokens；对于输入的图片，通过vision vocabulary之后叠加一个image embedding来处理输入的image。处理完成的两个tokens对齐之后输入一个大模型实现下游的任务。比如描述图片的内容,分析图中有几个人等等多模态任务。

如果我们想做密集文本或者图标的多模态任务，那么为什么不能直接在原始的vision vocabulary network上进行训练？

1. 训练容易让模型覆盖原始的vocabulary,大概率会遗忘通用的image encoder能力

2. 原始模型是vision vocabulary之后叠加一个大模型，在这种模式下，不容易训练前面的vision vocabulary，训练效率低

3. 一般在大模型训练中不支持迭代多次训练，因为大模型的超强记忆能力，容易导致模型的过拟合。

VARY提供的vision vocabulary训练方法

这里采用的text vocabulary/vision vocabulary/text embedding/vision embedding模块一般是预训练完成的。如果我们希望扩充下游任务，且这个下游任务的图片和预训练任务中的希望扩充vision vocabulary怎么办？这里vary提供了一种范式：

1. 生成新的vision vocabulary: 首先训练一个生成式自回归的图片生成文本的模型；

2. 融合旧的vision vocabulary模型，训练基础模型和下游任务：然后把这个模型的vision vocabulary部分拎出来，将这个部分和原本的vision vocabulary一起组成一个新的vision vocabulary，用这个vision vocabulary来作为image encoder的一部分，继续按照传统的多模态范式，进行模型的pretrain/sft和下游任务的训练。

vary的主要内容就是上面提到的两个模型。下面展开说说每个模型的训练模型、训练目标、训练数据、输入和输出信息。

二、模型方案

2.1 生成新的vision Vocabulary模型

2.1.1 模型结构

这个模型在论文中被称为 vary tiny.整个模型的结构如下所示

1. 一个基于SAM预训练的VitDet模型作为vision vocabulary network；输入的input size 为3*1024*1024;输出的维度为64*64*256;

2. Input embedding linear layer 用于将前面得到的64*64*256的image tokens对齐CLIP-L的输出维度 256*1024。本质是叠加了两个卷积层。具体看下面的结构图

3. OPT-125M模型作为一个decoder-only的自生成模型，生成输出结果。

2.1.2 训练输出规范

输入文本图片，输出文本图片中的密集ocr内容

输入图表，输出图表的字典格式的

输入一张自然图片，输出"It’s an image of nature"; "Here’s a naturepicture"; "It’s a nature photo"; "This is a natural image"; "That’s a shot from nature"

2.1.3 训练数据来源

1. （未开源，需要自行收集整理制作）文本图片：需要高质量的密集文本图片-文字对；作者自行收集了arXiv上和CC-MAIN-2021-31-PDFUNTRUNCATED上的英文pdf；中文电子书；然后通过pdf2image转为图片；通过fitz转出每页的文本；一共收集转换了一百万中文训练集，一百万英文训练集。

2. （未开源，需要自行收集整理制作）表格图片：作者发现现有的模型不能很好的理解表单数据，尤其是中文表单。因此训练vision vocabulary的时候也采用的表单数据。应该是自行制造了25万中文表单图片-文本对和25万英文表单图片-文本对。表单中的文本信息通过自然语言随机生成。

3.（开源，可以直接用）自然图片：选择了coco中的12万图片。

2.1.4 训练细节

1024*1024*3的图片，batchsize=512；训练3epoch

2.1.5 训练目的

这轮训练的目标是提取训练之后模型里面的vision vocabulary network模块。这里通过充分的文档训练，vision Voabulary模块可以适应并有效的提取文档的image tokens

2.2 融合旧的vision vocabulary模型

在上面一轮训练中，得到了新的能够适应文本和表单的vision vocabulary,接下来就是将这个vision vocabulary融合到多模态大模型中。

2.2.1 模型结构

这里的融合方式是新的vision vocabulary和旧的clip-L 模型独立并行，然后将输出结果进行融合，最终输入到大模型中去。这样不会干扰原本的vision vocabulary的能力*（也就是这里的CLIP-L network），在训练阶段，new vocabulary network和CLIP-L network的权重都是冻结的，然后训练其他的层。

大模型的选择，中文效果较好的话，选择了QWen-7B;英文效果的话，选择Vicuna-7B