OmniVision-968M：全球最紧凑、最小的边缘 AI 多模态视觉语言模型！附带本地安装部署运行教程

本文链接：https://blog.csdn.net/m0_59164304/article/details/144159594

世界最小VLM，为边缘设备而打造！

在多模态人工智能领域，边缘计算解决方案正变得越来越重要。这一领域最新的突破之一是OmniVision-968M，这是一个紧凑且高效的视觉-语言模型，有望彻底改变边缘AI应用。Omnivision-968M是由NexaAI创业公司推出。Nexa AI的愿景是_打造先进的端侧AI模型，让AI技术不再局限于云端，而是能够直接在本地设备上运行_。这不仅意味着成本的降低，更重要的是，它能够更好地保护用户的隐私安全。

Omnivision-968M由于体积较小，所以模型在推理速度上，有着非常不错的表现。在Apple最新M4 Pro处理器的MacBook上，它能够以不到2秒的惊人速度，生成一张1046×1568像素图像的语言描述。它在处理过程中仅占用988MB的统一内存空间。

本文将探讨为边缘设备而打造的VLM模型OmniVision-968M的模型架构、训练方法、技术创新、基准测试和本地部署应用教程。项目地址及在线体验地址如下：

模型链接：ttps://huggingface.co/NexaAIDev/omnivision-968M``在线演示：https://huggingface.co/spaces/NexaAIDev/omnivlm-dpo-demo

1. 为什么边缘AI需要紧凑的视觉-语言模型

边缘计算涉及直接在设备上处理数据，如智能手机、物联网传感器和摄像头，而不是依赖集中的云服务器。主要挑战包括有限的计算资源、延迟问题和功耗。能够处理文本和图像的多模态模型对于自动驾驶汽车、智能家居系统和移动助手等应用至关重要。然而，这些模型的传统架构通常需要大量的计算能力，并未针对边缘部署进行优化。

OmniVision-968M通过减少模型大小而不牺牲性能来解决这一差距，其参数规模小于10亿（968M），却具备强大的视觉和文本处理能力。模型在LLaVA架构的基础上进行了改进，带来了以下两大改进：

9倍Token缩减：Omnivision将图像Token从729减少到81，这一改进大幅降低了延迟和计算成本，让模型运行更加高效。
更少幻觉：通过使用来自可信数据的DPO训练，Omnivision减少了幻觉现象，提高了结果的可靠性。

2. OmniVision-968M的模型架构

最先进的架构：OmniVision的架构由三个核心组件组成：

基础语言模型：Qwen2.5–0.5B-Instruct，优化了高效的文本处理。

视觉编码器：SigLIP-400M，以384分辨率和14×14的补丁大小运行，以生成详细的图像嵌入。

投影层：一个复杂的多层感知器（MLP），将视觉编码器的输出与语言模型的令牌空间对齐。这种设计不仅改善了视觉和文本输入之间的对齐，还确保了压缩图像令牌的无缝集成。

3. OmniVision-968M的训练方法

OmniVision-968M的开发涉及一个三阶段的训练流程，以确保鲁棒性和准确性：

预训练：初始阶段使用大量图像-标题对的语料库建立视觉-语言对齐。仅在此阶段解冻投影层，允许它微调对视觉-文本关系的理解，而不修改核心语言模型。

监督式微调（SFT）：在下一阶段，模型使用包括基于图像的问题回答任务的结构化数据集进行微调。这有助于模型提高对现实世界场景的上下文理解。

直接偏好优化（DPO）：最后阶段涉及生成对图像提示的响应，并在教师模型的帮助下提炼这些输出。DPO过程专注于最小修正，优化模型生成高质量、准确响应的能力，而不会大幅改变其自然输出倾向。

4. OmniVision-968M的基准与效果

在所有任务中，OmniVision的表现都优于之前世界上最小的视觉语言模型nanoLLAVA（之前世界上最小的视觉语言模型）。除此之外，还对基准数据集进行了一系列实验，包括 MM-VET、ChartQA、MMMU、ScienceQA、POPE，以评估 Omnivision 的性能。

OmniVision 为图像生成的描述

OmniVision 可以通过查找图像来协助记忆

OmniVision 分析食物图像并生成食谱

OmniVision 识别了正确的 HDMI 端口位置

5. OmniVision-968M的本地运行使用教程

步骤1：安装所需的依赖项

请确保系统上已安装Python（建议使用Python 3.8或更高版本）。打开终端并运行以下命令以安装所需的Python包：

# 安装核心包``pip install torch torchvision torchaudio einops timm pillow``pip install git+https://github.com/huggingface/transformers``pip install git+https://github.com/huggingface/accelerate``pip install git+https://github.com/huggingface/diffusers``pip install huggingface_hub``pip install sentencepiece bitsandbytes protobuf record

步骤2：安装Nexa SDK，安装过程需要CUDA（用于GPU加速）和CMake。

# 安装支持GPU的Nexa SDK``CMAKE_ARGS="-DGGML_CUDA=ON -DSD_CUBLAS=ON" pip install nexaai --prefer-binary` `--index-url https://nexaai.github.io/nexa-sdk/whl/cu124`  `--extra-index-url https://pypi.org/simple  --no-cache-dir

步骤3：运行OmniVision-968M模型

一旦一切设置完成，就可以使用Nexa CLI运行OmniVision-968M模型。要直接运行模型，请使用：

nexa run omnivision

注意：OmniVision的FP16版本需要988 MB的RAM和948 MB的存储空间，这使得它足够轻量级，适合大多数现代笔记本电脑和台式机。

步骤4：使用OmniVision分析图像

假设有一张位于/home/user/images/horses.png的图像，我们可以运行OmniVision-968M来生成对内容的描述。将图像放置在指定路径并运行以下命令：

>> /home/user/images/horses.png``>> Describe the image

模型回复：“图像展示了三匹马站在草地上，靠近水体。它们似乎正在从位于背景中的池塘中饮水。马匹彼此靠近，一匹马位于图像的左侧，另一匹在中心，第三匹马在右侧。场景传达出一种平和宁静的氛围，马匹享受着靠近水源的时光。”

输入图像：

>> /home/user/images/shopping.png``>> 检查我是否有鸡蛋？

模型回复：是的，您在图像中有鸡蛋。鸡蛋陈列在购物车中的各种食品中。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述