多模态本地部署和ollama部署Llama-Vision实现视觉问答

一、模型介绍

Llama 3.2-Vision 是一系列多模态大语言模型(LLM)，包括预训练和指令调优的图像推理生成模型大小分别为11B和90B(输入为文本+图像/输出为文本)。Lama 3.2-Vision 指令调优模型针对视觉识别、图像推理、字幕生成以及回答关于图像的一般问题进行了优化。这些模型在常见的行业基准测试中表现优于许多可用的开源和闭源多模态模型，
模型开发者: Meta
模型架构: Llama 3.2-Vision 基于 Lama 3.1 文本模型构建，后者是一个使用优化的Transformer架构的自回归语言模型。调优版本使用有监督的微调(SFT)和基于人类反馈的强化学习(RLHF)来与人类对有用性和安全性的偏好保持一致。为了支持图像识别任务，Llama 3.2-Vision 模型使用了单独训练的视觉适配器，该适配器与预训练的 Llama 3.1 语言模型集成。适配器由一系列交叉注意力层组成，将图像编码器表示传递给核心LLM。
支持的语言:对于纯文本任务，官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。Llama3.2的训练数据集包含了比这八种语言更广泛的语言。注意，对于图像+文本应用，仅支持英语。
开发者可以在遵守 Llama 3.2 社区许可证和可接受使用政策的前提下，对 Lama 3.2 模型进行其他语言的微调。开发者始终应确保其部署，包括涉及额外语言的部署，是安全且负责任的。
模型发布日期:2024年9月25日

二、预期用途

预期用途案例: Llama 3.2-Vision旨在用于商业和研究用途。经过指令调优的模型适用于视觉识别、图像推理、字幕添加以及带有图像的助手式聊天，而预训练模型可以适应多种图像推理任务。此外，由于Llama 3.2-Vision能够接受图像和文本作为输入，因此还可能包括以下用途:

1. 视觉问答(VQA)与视觉推理

想象一台机器能够査看图片并理解您对其提出的问题。

2. 文档视觉问答(DocVQA)

想象计算机能够理解文档(如地图或合同)中的文本和布局，并直接从图像中回答问题。

3. 图像字幕

图像字幕架起了视觉与语言之间的桥梁，提取细节，理解场景，然后构造一两句讲述故事的话。

4. 图像-文本检索

图像-文本检索就像是为图像及其描述做媒人。类似于搜索引擎，但这种引擎既理解图片也理解文字。

5. 视觉接地

视觉接地就像将我们所见与所说连接起来。它关乎于理解语言如何引用图像中的特定部分，允许AI模型基于自然语言描述来精确定位对象或区域。

三、本地部署

1. 下载模型

#模型下载 
from modelscope import snapshot_download model_dir = snapshot_download('AI-ModelScope/Llama-3.2-11B-Vision-Instruct-GGUF')

2. 模型大小

3. 运行代码

在运行代码前先确保安装了transformers包
pip install --upgrade transformers

import requests
import torch
from