MoonDream2 微调简明教程

最新推荐文章于 2025-01-09 15:00:50 发布

新缸中之脑

最新推荐文章于 2025-01-09 15:00:50 发布

阅读量888

点赞数 6

文章标签： VLM

本文链接：https://blog.csdn.net/shebao3333/article/details/139211429

版权

在本指南中，我们将探讨如何使用计算机视觉数据集对完全开源的小型视觉语言模型 Moondream2 进行微调，以计数项目（这是 GPT-4V 一直表现不一致的任务），并以一种可以依赖输出用于生产应用程序的方式进行微调。

视觉语言模型 (VLM)，有时也称为多模态模型，越来越受欢迎。随着 CLIP、GPT-4 with Vision 等技术的出现以及其他进步，从视觉输入中查询问题的能力变得比以往任何时候都更容易获得。

VLM 是机器学习的新前沿，随着新突破的出现，其性能也在不断提高。正如我们在 GPT-4 with Vision 和最近的 GPT-4o 中发现的那样，有些任务（例如计数）是 VLM 难以完成的。虽然可以理解，但由于训练成本和推理速度的限制，在每一项任务上都表现出色很困难，缺乏专家能力使得很难在生产用例中使用和依赖 VLM。

虽然有些多模态模型比其他模型更好，但许多模型在输出一致、可解析的格式方面存在问题。这给将 VLM 整合到应用程序和系统中带来了挑战。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割

1、什么是 Moondream2

Moondream2 是一个开源小型视觉语言模型，源代码位于 GitHub 上，vikhyatk制作。虽然它不是最先进的模型，但它能够以合理的速度和准确性在设备上本地运行，这使它成为 VLM 的一个引人注目的选择，值得尝试进行微调，看看它是否适合您的用例。与其他 VLM 相比，它的得分相对较高。它甚至在 VQAv2 上击败了最近发布的 GPT-4o，考虑到 Moondream2 的本地、开源和小得多的模型，这令人印象深刻。