GeoChat开源 | 微改LLaVA-1.5模型并在改变描述指令数据集上进行微调，可以实现更好性能

最新推荐文章于 2024-12-12 16:26:58 发布

小马不会过河

最新推荐文章于 2024-12-12 16:26:58 发布

阅读量1.3k

点赞数 28

文章标签：开源人工智能 chatgpt 深度学习机器学习区块链

本文链接：https://blog.csdn.net/m0_59163425/article/details/142862120

版权

大型多模态模型（LMMs）在自然图像领域使用视觉指令调优时表现出色。然而，这些LMMs在诸如图像或区域定位、分类等遥感（RS）图像任务中，难以描述RS图像的内容。最近，GeoChat尝试描述RS图像的内容。

尽管GeoChat在各种RS任务上取得了令人鼓舞的表现，但它在描述双时相RS图像之间的变化这一关键RS任务上仍然存在困难。这需要开发一个可以描述双时相RS图像之间变化的LMM。然而，用于调优LMM的数据集有限。

为了实现这一目标，作者引入了一个可以用于微调LMM并为其提供更好RS图像变化描述的改变描述指令数据集。此外，作者证明，经过轻微修改的LLaVA-1.5模型可以在改变描述指令数据集上进行微调，并实现更好的性能。

代码和模型：https://github.com/techmn/cdchat

1 简介

近年来，大规模多模态模型（LMMs）在诸如遥感、医学影像等各个视觉应用领域取得了显著进展，促使研究行人利用其进行各种任务。这些LMMs可以作为通用助手，在诸如图像定位、场景分类、视觉问答（VQA）等任务上表现出惊人的性能。Kuckreja等人（2024）在遥感领域展示了LMMs的能力，并引入了GeoChat模型，可以执行各种对话任务。

然而，GeoChat在描述卫星图像对之间语义变化方面仍存在挑战。由于遥感领域缺乏多模态对话数据用于指令调优，因此Kuckreja等人（2024）利用现有的遥感场景分类和目标检测数据集，准备了一个对话数据集，以提高GeoChat模型在遥感图像上的性能。GeoChat在包括单图像和文本对在内的遥感数据上执行LMM的视觉指令调优。然而，遥感变化描述任务需要与图像对共注册的时序遥感图像，以及描述它们之间变化的文本描述。

在遥感领域，变化检测（CD）是指在共注册的双时序遥感图像之间识别语义变化。与其它遥感数据集类似，遥感领域也需要费力手动标注图像对和相应的图像文本对以进行变化检测任务。因此，作者试图创建一个对话变化描述数据集，可以用于LMM的指令调优，并提高LMM在遥感变化描述任务上的性能。

在本文中提出了CDChat，它是一个用于RS变更描述任务的对话助手。作者手动标注了SYSU-CD数据集，以获取变更文本和图像对。与其他工作类似，作者使用Vicuna-v1.5生成包含19000个会话的指令数据。作者从包括SYSU-CD和LEVIR-CD在内的两个大规模变更检测数据集中创建了变更文本和图像对。具体而言，作者生成了多轮VQA对，这些对描述图像中的变更区域以及计算变更区域的数量有关。

总之，作者的贡献如下：

作者手动标注SYSU-CD数据集，以获得双时相RS图像之间的变化文本描述。利用分割 Mask ，作者计算出双时相图像对中存在的变化区域数量。
作者利用Vicuna-v1.5在自动化 Pipeline 中生成用于VQA变化检测任务的指令数据集。
作者使用作者的人工智能教学变化描述数据集（CDChat，称为RS变化描述任务）对LLaVA-1.5模型进行低秩自适应（LORA）微调。作者证明了CDChat相对于现有的LMMs表现更好。

2 CD数据集的标注

现有的遥感变化检测（CD）数据集主要关注与建筑建设和拆除相关的变化。然而，SYSU-CD是一个大规模的公共CD数据集，它提供了与建筑建设、施工前准备、海上施工、道路扩建和植被变化相关的分割 Mask 。因此，作者选择SYSU-CD用于标注目的。作者创建了一个自定义的图形用户界面（GUI）工具，用于从双时相图像和分割 Mask 中生成文本描述。

图2显示了用于标注目的的GUI工具的截图。该工具允许标注者查看变化 Mask 并撰写多个关于变化区域的描述。通过使用键盘，该GUI工具可以在图像对之间轻松切换，以实现快速标注过程。由研究生组成的一个团队负责产生变化文本描述。在投入使用之前，验证团队会对标注的变化描述进行验证。在生成文本描述后，作者使用OpenCV库查找分割 Mask 内的变化区域数量。将变化区域数量的信息与标注的变化描述相结合，以获得每个双时相图像对的最终文本描述。

此外，LEVIR-CC数据集为LEVIR-CD数据集提供了变化标题。然而，它省略了图像对的分段 Mask 。作者将LEVIR-CC的变化标题与LEVIR-CD的 GT Mask 进行匹配，并将其与标注数据集相结合，以增加数据集大小。

CD指令数据集

为了生成多轮对话数据集，作者使用了Vicuna-v1.5（7B）模型。作者提供系统指令和更改描述，并要求Vicuna以类似于可视化双时态图像的方式生成对话。为了从更改描述中生成高质量的问答对，作者将少量示例提供给Vicuna模型作为进一步的指令。特别是，作者从两个大型公共CD数据集中生成了约19k多轮对话。

3 本文方法

RS变化对话旨在描述双时相卫星图像之间的语义变化。另一个目标是统计场景中存在的变化区域数量。此外，它可以关注在区域层面上发生的类型变化。然而，由于区域级 GT Mask 的不可用性，目前提出的CDChat主要关注前两个任务。

3.1 CDChat Architecture

提出的CDChat利用LLaVA-1.5 作为基础架构。

如图1所示，它由三个主要组件组成：

一个共享视觉编码器，用于处理双时态图像
一个两层MLP连接器
一个大型语言模型（LLM）。

与GeoChat和LLaVA不同，作者使用Siamese视觉编码器分别从预变化和后变化图像中提取特征，并在嵌入维度将这些特征连接起来。然后，作者使用MLP连接器关注变化区域，并将这些特征映射到语言空间，这些特征被输入到语言模型中。具体而言，这种方法使模型能够更好地将图像特征与变化描述对齐，从而提高模型的会话能力。接下来，作者将简要解释CDChat的每个组件。

**视觉编码器：**作者使用CLIP ViT-L-14预训练视觉编码器进行图像特征提取。编码器是共享的，因为它分别提取双时序图像的特征。类似于GeoChat，作者将RS图像的空间分辨率提高到像素，并相应地插值CLIP编码器的位置嵌入。这一提高的分辨率使得模型能够关注到微小的变化区域。

MLP 连接器： MLP 连接器由两个带有 GELU 激活的中间线性层组成。它将维度为的图像特征拼接在一起，并将它们投影到语言空间维度。

语言模型：类似于LLaVA和GeoChat所使用的方法，作者采用了Vicuna-v1.5(7B) 作为语言解码器，该解码器接受文本嵌入特征和MLP连接器的输出作为输入，并生成针对多模态 Prompt 的文本响应。作者采用了LoRA的策略来微调语言模型，以实现更快速的训练，并使模型在不遗忘先前知识的情况下学习新知识。

3.2 Training Details

作者加载Vicuna-v1.5的预训练权重，并使用CLIP ViT-L-14的权重初始化视觉编码器。作者在两个阶段训练模型。首先，冻结视觉编码器和语言模型，仅微调MLP连接器。然后，加载调整后的MLP连接器的权重并冻结。然后，使用LoRA的方法，在实现中，使用64个维度的LLM进行微调。

4 实证评价

4.1 实施细节

作者利用三个Nvidia A100 GPUs来训练模型。在LLM和视觉编码器冻结的情况下，作者进行一次epoch的微调MLP连接器。之后，作者再进行一次epoch的LoRA微调LLM。在训练过程中，作者始终使用像素的图像大小，并将每个GPU的批量大小设置为16。在训练过程中，作者使用AdamW优化器并使用余弦调度器。

4.2 Datasets

在作者的实验中，使用了两个CD数据集，包括LEVIR-CD和SYSU-CD。

LEVIR-CD包括训练集、验证集和测试集，分别有7120、1024和2048对卫星图像，空间分辨率为256x256像素。几乎一半的图像对在数据集中没有变化。因此，作者从相应的集合并删除了没有变化的图像对。剩余的图像对及其变化描述用于指令数据生成。

SYSU-CD包括训练集、验证集和测试集，分别有12000、4000和4000对图像，空间分辨率为256x256像素。数据集中的一些图像包含无法确定变化类型的变化区域，导致描述存在歧义。因此，作者从各自集合并删除了这些图像，并使用训练集和验证集的剩余图像和文本对进行训练。作者在两个数据集的测试集上报告了评估结果。表1列出了两个数据集的统计信息，包括变化区域数量和图像对数量。

4.3 变更描述任务

作者在SYSU-CD和LEVIR-CD数据集的测试集上评估了CDChat的性能。作者将输入图像对和问题提供给模型，要求描述两张图像之间的变化。模型对所有测试集中的图像对产生的响应进行了记录。作者利用METEOR和ROUGE-L的分数来衡量模型生成的响应与标注的变化描述之间的相似性。

表3和2分别展示了各种LMMs在LEVIR-CD 和SYSU-CD上的性能。在SYSU-CD上，LLaVA-1.5的表现优于其他LMMs，实现了METEOR和ROUGE-L的得分分别为13.07%和14.73%，表明更好的泛化能力。

尽管如此，GeoChat在RS场景分类、RS图像和区域定位任务上超过了所有模型，但在RS变化描述任务上的性能有所下降。值得注意的是，CDChat在所有LMMs中表现最佳，实现了ROUGE-L的得分34.42%。对于LEVIR-CD，每对图像都有多个 GT 变化描述，因此分数是通过利用多个 GT 参考计算的。从表3中，作者可以观察到模型的性能趋势与SYSU-CD相似。LLaVA-1.5的性能优于其他LMMs，实现了METEOR分数23.74%。然而，CDChat相对于列出的LMMs表现显著更好。

4.4 更改区域计数

在这项任务中，作者将双时态图像的配对提供给LMM，并要求它提供变化区域的数量或数量。在这里，计数是一个区间范围，LMM必须从这些区间中选择答案。

具体而言，作者向LMM提出以下类型的问题：

在两张图像中有多少变化区域？从给出的范围内选择：小于或等于五个，在六到十个之间，在十一到二十之间，多于二十个。

表2中每个LMM的响应保存在文件中，并计算准确率。

作者观察到，尽管问题中给出了说明，但所有模型都无法回答计数问题。然而，作者的CDchat表现得相当合理，在SYSU-CD和LEVIR-CD测试集上的准确率分别为68.97%和83.25%。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述