【LLM大模型】本地玩转多模态Llama3

最新推荐文章于 2024-10-08 09:00:00 发布
最新推荐文章于 2024-10-08 09:00:00 发布
阅读量782 收藏 21
点赞数 23
文章标签： python langchain 服务器 chatgpt embedding 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82469710/article/details/141438487
版权

一般开源的LLM，例如Llama3和Qwen2等，只支持文本的输入，只能理解文本的内容，实现基于文本的逻辑推理和意图识别。

但是一些Chatbot，例如GPT-4V，就是拥有视觉能力，能够理解图片内容，能够更好的解决现实中的实际问题。

如何给开源大模型添加上视觉Vision？本篇文章助力大家在本地玩转多模态的Llama3。

理解LLaVA方案

给LLM装上电子眼：

在这里插入图片描述

添加上一个Image Projector，让大模型具有处理图片输入的能力，再经过向量对齐，输入LLM中，就可以使大模型增加对输入图片的理解。

所使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型。

LLaVA（Large Language-and-Vision Assistant），是一个在LLM基础上来实现对视觉问题问答的解决方案。

Image Projector的训练和测试，有点类似之前我们讲过的LoRA**微调方案，XTuner微调LLM实践。

二者都是在已有LLM的基础上，用新的数据训练一个新的小文件。

只不过，LLM套上LoRA之后，有了新的灵魂（角色）；而LLM套上Image Projector之后，才有了眼睛。

简述Image Projector的训练过程

训练过程分为为2个阶段：Pretrain和Finetune。

在这里插入图片描述

在Pretrain阶段，我们会使用大量的图片+简单文本（即图片标题）数据对，使LLM理解图像中的普遍特征。即对大量的图片进行粗看。

Pretrain阶段训练完成后，此时的模型已经有视觉能力了！但是由于训练数据中都是图片+图片标题，所以此时的图片虽然有视觉能力，但无论用户问它什么，它都只会回答输入图片的标题，即此时的模型只会给输入图像“写标题”。

在Finetune阶段，我们会使用图片+复杂文本数据对（多轮对话数据），来对Pretrain得到的Image Projector进行进一步的训练。

选择和下载模型

Xtuner是一个大模型微调工具箱。https://github.com/InternLM/xtuner。

Xtuner是一个高效、灵活、全能的轻量化大模型微调工具库。

  • 支持多种开源的大语言模型
  • 支持多种微调方法，QLoRA、LoRA、全量参数微调
  • 支持多种微调算法

本次我们选择Xtuner团队 https://huggingface.co/xtuner。其团队微调的系列模型有：

  • phi-3-mini
  • Llama3
  • InternLM2
  • Qwen
  • Llama2

其中的，Vision大模型LLaVA-Llama-3-8B。

huggingface仓库中提供了量化好的GGUF格式，直接可以在Ollama的F16半精度模型和INT4精度模型：

在这里插入图片描述

  • llava-llama-3-8b-v1_1-f16.gguf 模型大小是16.1GB
  • llava-llama-3-8b-v1_1-int4.gguf 模型大小是4.92GB

创建本地模型

本地部署LLM，采取的方案是Ollama部署，推荐大家先阅读，我之前的的文章：

可以选择Makefile创建

Xtuner团队的huggingface仓库，提供了文件：

FROM ./llava-llama-3-8b-v1_1-f16.gguf
FROM ./llava-llama-3-8b-v1_1-mmproj-f16.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER num_keep 4
PARAMETER num_ctx 4096

执行相关命令，可以参考文章本地部署中文Llama3并用弱智吧测试。

从Ollama官方仓库下载

Ollama官方仓库，已经有了llava-llama3的模型。大小16GB。

ollama pull llava-llama3:8b-v1.1-fp16

在这里插入图片描述

安装open-webui

因为目前chatbox主推自己ChatBox** AI，不支持本地部署的开源大模型，上传图片对话。

所以我们需要安装open-webui，它支持Ollama部署的模型，进行图片对话理解。

open-webui，原名叫做Ollama WebUI。

https://github.com/open-webui/open-webui

支持多模态，支持文档、本地RAG集成、网页浏览功能、语言输入支持、AI绘画**、多个模型对话。

官方推荐的是用docker进行安装。需要提前在本地安装好Docker软件。

If Ollama is on your computer, use this command:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
访问页面地址

http://localhost:3000/

在这里插入图片描述

这样你就拥有一个完全属于自己的，本地部署的ChatGPT**。

测试Vision大模型能力

ImageNet，图片识别

在这里插入图片描述

图片中的动物是水豚。它四肢着地站在一块岩石上，毛色是灰色的。水豚面对镜头时，它的头微微向左倾斜。

可以说，回答是十分准确的。

图片数量识别

在这里插入图片描述

回答并不完全正确，但是也可以识别。

OCR识别**和指令跟随

在这里插入图片描述

在这里插入图片描述

识别的不是很准确，但是指令跟随的效果还是可以。

表格和图表解读

在这里插入图片描述

回答得非常不好，不能识别图表中的信息。

复杂信息提取

大促销海报信息提取

在这里插入图片描述

回答依旧不是很出色。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI-智能
关注
pip install -e .安装环境
githubcurry
05-14 1万+
的含义是：在当前目录下安装一个包，并创建一个软连接引用该包（而不是将包复制到 site-packages 目录下）。这个软连接是一个指向包代码的符号链接，它可以使包的修改直接反映到当前目录下的项目中，从而方便开发和调试。需要注意的是，只有包含 setup.py 文件（Python 包的打包脚本）的包才能使用。是 pip 命令的一种使用方式，它表示在当前目录下安装一个可编辑包。另外，为了避免环境冲突，建议在虚拟环境中使用该命令。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
热门推荐
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
图像修复（Inpainting）技术的前沿模型与数据集资源汇总
m0_49711991的博客
09-18 1220
图像修复（Image Inpainting）是一种计算机视觉技术，旨在填补图像中的缺失区域或去除图像中的不需要部分，使其看起来自然且无明显痕迹。其目标是根据图像的上下文信息和周围像素来推断和重建缺失区域的内容，以生成逼真且一致的图像。Inpainting 技术的应用广泛，包括但不限于：图像修复：用于修复老旧或损坏的照片，例如修补划痕、污渍或褪色区域。视觉内容编辑：在照片/视频编辑中，填充被裁剪或移除的部分，或替换特定区域的内容。；移除不需要的对象或元素，实现无缝过渡。
本地运行大语言模型（LLMs）
python12345_的博客
06-14 1783
在本地运行一个LLM需要几样东西：1.开源LLM：可以自由修改和共享的开源LLM2.推理：在您的设备上以可接受的延迟运行此LLM的能力。
LLM学习：本地下载并运行大语言模型，准备入门的同学一定要来看看
m0_59164304的博客
04-18 1615
在LLM与ChatGPT流行的当下，商业人工智能（AI）和大型语言模型（LLMs）仍然存在一个较大的隐患：即数据的隐私问题。在处理敏感或专有数据时，我们很难通过公开的ChatGPT或者大模型UI这些工具中受益。因此，在本地进行模型训练，快速实验与学习，也成为越来越常见的需求。本篇总结了现在主流的本地运行LLM的方法，主要介绍如何通过以下6种方式在本地私有的机器中操作LLMs。
LLM探索：环境搭建与模型本地部署
python12345678_的博客
06-29 865
最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了…上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。本文将介绍这以下两个国产开源LLM的本地部署ChatGLM-6BMOSS本文先简单的把模型跑起来，后续将继续我近期在LLM方向的一些探索记录~这是清华和智谱公司搞的开源LLM，截止本文撰写时，其在国产开源LLM里面算是天花板的存在了~
为什么要选择使用本地部署的LLM大模型？
最新发布
EnjoyEDU的博客
10-08 655
本地LLMs提供高级配置选项，包括CPU线程、温度、上下文长度、GPU设置等，类似于OpenAI的playground。可以根据自己的具体需求调整LLM，尝试不同的设置，并将其整合到现有的基础设施中。由于LLMs是无状态的，可以随时在HuggingFace上提供的50万个模型中进行切换。因此，为企业不同的任务使用不同的模型。
LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)
Mystra
09-19 1300
评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。
2025秋招LLM大模型多模态面试题（三）
weixin_41496173的博客
05-17 1326
LLM大模型多模态面试题（三）
LLM - 理解 多模态大语言模型(MLLM) 的 架构(Architecture) 与相关技术 (二)
Mystra
09-09 1165
多模态大语言模型 (Multimodal Large Language Models, MLLM) 框架包括 3 个部分：预训练的模态编码器、预训练的 大语言模型(LLM)、连接模态的 接口(Interface)，也可以添加可选的 生成器(Generator) 到 LLM，用于生成除了文本之外的其他模态。
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了 ！！ XTuner 微调 Llama3 图片理解多模态
段智华的博客
04-23 182
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)
我想学大模型，应该从哪个模型开始？LLaMA生态家谱整理和分析
人工智能讲师分享前沿技术
10-11 327
最近大模型发展卷的很，想要研究学习大模型，应该从哪里开始呢？目前大模型发展生态最好的当属Meta的LLaMA模型。如果GPT系列是Windows操作系统(巧了，OpenAI的大东家目前就是微软)，那么LLaMA就是Linux。如果GPT系列是苹果手机，那么LLaMA就是安卓。如果你想基于大模型做一些事情，无论是创业还是研究，最好选择一个生态好的模型，毕竟有人用才有市场。ChatGPT演化的路径如下图所示。图片中分了4个阶段，但是第三个和第四个阶段一般都会放在一起，属于对齐阶段。
OpenAI最新模型来了！什么是GPT-4o？如何开启GPT-4o教程！
youmaob的博客
05-15 1878
5月13日上午10点，OpenAI发布了GPT-4的迭代版本，GPT-4o。GPT-4o (“o” for “omni”)，意思是更全能。免费给所有人使用，功能方面速度大幅度提升，处理文字、图片、语音会更快反应出来，GPT-4o 支持50种语言，可以进行实时语言同声翻译，还可以通过摄像头识别人类表情和情绪，并且通过语音来表达，GPT-4o不管是在语音、视觉功能上算得上目前最高模型的水平了。
6种方法在本地运行LLM
ChatGPTer
12-28 2199
商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。这使我们了解如何在本地运营私人LLM。开源模型提供了一种解决方案，但它们也有自己的挑战和好处。和我一起探索可以在自己的计算机上运行的 ChatGPT 的本地替代方案。设定期望开源非常广泛，有数千种可用模型，从 Meta 等大型组织提供的模型到个人爱好者开发的模型各 不相同。正如谷歌泄露的一份文件所表明的那样，开源模型和闭源模型之间的差距正在缩小。1.
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
2402_84466582的博客
07-29 4479
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
ollama 多模态llava图像识别理解模型使用
weixin_42357472的博客
06-15 3385
参考： https://llava-vl.github.io/ https://ollama.com/blog/vision-models https://blog.csdn.net/weixin_42357472/article/details/137666022 图片地址前面空格就行
LLM大模型入门（四）—— 基于peft 微调 LLaMa模型
瓦罗兰特顶级C位的博客
07-09 867
llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。使用的大模型：https://huggingface.co/decapoda-research/llama-7b-hf，已经是float16的模型。微调数据集：https://github.com/LC1332/Chinese-alpaca-lora/blob/main/data/trans_chinese_alpaca_data.json1）lora微调。
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
chenyang2203的博客
05-11 4377
llama系列大模型调研及关键信息整理，llama/standford-alpaca/alpaca-lora/chinese-llama-alpaca/belle等
LLMRec：大模型增强的多模态推荐系统
多模态推荐系统广泛应用于像亚马逊和Netflix这样的平台，它们利用文字描述、图片、视频和音乐等不同模态的数据来提高推荐的吸引力，尤其是在处理新用户或新物品的冷启动问题以及会话推荐时效果显著。 1.2 基于内容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值