前言
在本文中，我将介绍Ollama最近对Llama 3.2 Vision的支持更新，并分享Llama 3.2 Vision的实测结果。同时，我还将介绍一个视觉RAG系统，展示如何将Llama 3.2 Vision与该系统结合，完成基于视觉RAG检索的任务。
先介绍此次更新：
Ollama 现在正式支持 Llama 3.2 视觉模型（Llama 3.2 Vision）。
你看就像这样拖进去就可以识别图片了。
▲ 来源 | Prompt Engineering
你可以看到该模型有11B参数版和90B参数版。选择90B参数版时，文件大小约为55GB。当然还有一些量化的版本。
Llama 3.2 Vision 11B 至少需要 8GB VRAM，而 90B 型号至少需要 64 GB VRAM。
为了安装它，你需要更新一下ollama，这里以docker安装的ollama为例，没更新前拉取这个视觉模型不成功，我们需要删掉容器，再pull更新它。
更新完之后我们可以执行拉取操作
你可以使用ollama python库这样运行它的测试
通过本地图像路径向模型提问“这张图片是什么”。
▲ 来源 | Fahd Mirza
模型返回了结果，描述图片中有“日落、袋鼠和一群鸟，太阳位于画面中央，但被云遮挡。” 这正是图片内容。
“ 这是什么城市？”，模型会给出答案：“我猜这是日本的城市，可能是东京或大阪。”
我们看看其他一些场景的情况：
手写内容识别
光学字符识别 (OCR)
图表和表格
图片问答
还是不错的。
下面我们进入正题 …
一个视觉RAG系统 + Llama 3.2 Vision
LocalGPT-Vision 是一个基于视觉的检索增强生成 (RAG) 系统，它可以让你与文档进行对话，使用Vision语言模型实现端到端的RAG系统。
该项目使用Colqwen 或 ColPali模型进行基于视觉的页面信息检索，检索到的页面将传递到视觉语言模型 (VLM) 以生成响应。
安装这个项目：
首先，你需要克隆代码仓库或拉取最新的更改；然后你需要创建一个新的虚拟环境来使用conda；最后使用`pip install -r requirements.txt`安装所有需要的包。
为了启动主应用程序，我们将使用`python app.py`，这会启动我们的Flask服务器，并在该URL上运行。只需在浏览器中访问即可。
这是本地GPT Vision的主界面。如果你进入模型列表，将看到检索模型。我将选择Colqwen ，它是最适合的模型之一。
对于生成模型，你有多个选项，我将选择Ollama Llama Vision，
然后保存更改。
对于被RAG的对象，我们使用一篇名叫Light RAG论文，这是一种简单快速的检索增强生成方法，结合了知识库和基于密集向量的方式，特别适用于具有某种关系的实体。
开始：
点击上传文档按钮，选择相应的PDF文件，然后点击“开始索引”。
▲ 来源 | Prompt Engineering
此时，后台将使用Colqwen模型为PDF中的每一页创建多维向量表示，转换成图像并计算嵌入，所有这些操作都依赖于强大的poppler库。
如果遇到问题，请确保已安装poppler库，因为有些人在使用这个库时遇到过问题。索引完成后，点击“确定”，然后开始与刚才创建的知识库进行交互。
首先，我们用一个简单的提示开始：“这篇论文的标题是什么？”
你可以看到，论文的标题是《Light RAG: Simple and Fast Retrieval Augmented Generation》。
它与标题完全一致。
接下来我们可以看看它是否能够解释该图像的详细信息。
我问：“你能详细解释图1吗？”
图1 作为论文中的一个插图，讨论了索引过程和检索过程，并展示了提议的Light RAG框架的整体架构。该页面还包含了其他信息，特别是数学公式，它们本质上也解释了相同的概念。
原文是这样的
这里是这个视觉RAG系统回答的翻译版本：
生成的响应是：“该图像展示了Light RAG框架的全面概述，该框架旨在增强信息检索系统的性能和效率。”然后它讨论了不同的组件，包括数据索引器和数据检索器。
这些信息似乎来自图像本身或图像所在页面上的文本。描述可以做得更好一些，可能90B版本的模型会做得更好。
我在这里补充它回答后续的截图：
此外，这些视觉开源大模型往往也可以用于一些视频帧的分析的场景。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
扫一扫
1712
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
