Vision-LLM-Alignment：视觉大语言模型对齐工具包

最新推荐文章于 2025-05-07 10:39:57 发布

小马不会过河

最新推荐文章于 2025-05-07 10:39:57 发布

阅读量641

点赞数 6

文章标签：语言模型人工智能自然语言处理搜索引擎深度学习机器学习区块链

本文链接：https://blog.csdn.net/m0_59163425/article/details/142768480

版权

前言

Vision-LLM-Alignment是东北大学自然语言处理实验室（小牛翻译团队）研发的面向视觉大语言模型对齐工具包。在人工智能的广阔领域中，视觉大语言模型的对齐技术一直是一个相对未被充分探索的领域。尽管已有一些研究涉足此领域，但仍缺乏相关的基准和系统来推动视觉大语言模型对齐的进一步发展。特别是随着诸如LLaMA-3.2-vision这种类型的更为前沿的视觉模型的问世，使得更多人对使用高效对齐技术的需求变得尤为迫切。针对上述情况，我们团队推出了Vision-LLM-Alignment系统。该系统既集成了多种脚本和工具，又为视觉大语言模型的训练提供了多样化的训练模式，例如：SFT训练、奖励模型训练、PPO训练以及DPO训练。同时，该系统也能够兼容多种主流的视觉模型，例如：LLaVA-1.5/-NeXT和LLaMA-3.2-Vision。

对于Vision-LLM-Alignment系统的研发还有一个主要目的，那便是为相关研究人员提供一个更为便捷的视觉大模型对齐训练平台，从而使研究者们能够在该平台上更高效的进行模型间的基准测试和对齐实验，这也相对减少了研究者在研究过程中所产生的时间和精力损耗。在Vision-LLM-Alignment系统的设计方面，我们也有意识地减少了系统对封装包的依赖，使用这一策略的主要目的在于降低初学者对该系统的学习门槛，不仅使其能够更轻松地掌握视觉大语言模型的基础知识，还能够使其更为迅速地了解对齐技术的实现流程。

项目信息

地址：https://github.com/NiuTrans/Vision-LLM-Alignment

团队主要成员：王成龙，霍逸夫，甘阳

项目特点

本项目继承了DeepSpeed-Chat的代码风格，并在实现对齐训练算法时，有意减少对封装库的依赖。这种设计不仅对初学者友好，便于他们快速掌握对齐训练的要领，还能助他们深入学习和理解整个对齐工作流。同时，它也使得用户能够更轻松地调整模块细节和更灵活地定制训练流程。
本项目支持多种视觉大语言模型，比如LLaVA系列和LLaMA-3.2-Vision系列模型。并且在训练过程中，只需指定模型架构（model architecture参数）和模板（template参数）即可完成设置。
本项目支持在RLHF过程中使用不同的模型来构建Policy模型和奖励模型，且无需统一词表和模型大小。比如，在对齐LLaVA-1.5-13B模型时，可以选择使用LLaVA-1.5-7B构建的奖励模型，从而有效减少显存开销。
本项目继承了DeepSpeed的分布式训练优势，并且能够支持多种微调方式，例如：fp16、bf16和zero1/2/3。同时，使用者也可以根据自身需求，进行个性化调整，如轻松添加高效微调技术来进行参数冻结和LoRA高效训练，以此来达到进一步优化训练效率的目的。

基准测试

在本系统的开发过程中，我们也进行了一系列的基准测试，以评估和验证系统的性能。具体地，我们选择了RLAIF-V作为偏好数据集，并以LLaVA-Instruct-150K作为输入指令（用于RLHF训练环节）。在模型评估阶段，我们采用了多个标准的基准测试，包括：MMHalBench、Object HalBench、AMBER、LLaVA-Wild-Benchmark、MMinstruct，来进行更为全面的衡量视觉大语言模型在对齐前后的可靠性和有助性的相关差异。

为了训练奖励模型，我们采用了LLaVA-1.5-7B这一模型。同时，我们分别在LLaVA-1.5-7B和LLaVA-1.5-13B这两个模型上执行了Best-of-n采样和RLHF对齐训练。系统的基准测试结果详见下图展示。

此外，我们还专门针对LLaVA-1.5-7B和LLaVA-1.5-13B模型进行了本系统的DPO训练基准测试，其结果详见下图展示。

当然，本系统仍在不断完善，可能还会存在一些尚未被发现的问题，在对齐算法的实现方面应该也还有能够提升的空间。我们希望大家在使用过程中如果遇到任何问题或有任何新的需求，能够积极提交issue，以便我们可以及时改进。最后，感谢大家的支持和关注！

备注：上述只是部分基准结果，如果想获取更多实验结果请参阅我们近期基于该系统的研究工作：RoVRM: A Robust Visual Reward Model Optimized via Auxiliary Textual Preference Data。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述