LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

最新推荐文章于 2024-05-29 21:24:10 发布
最新推荐文章于 2024-05-29 21:24:10 发布
阅读量1k 收藏 8
点赞数 27
分类专栏： LLM技术汇总 文章标签： 人工智能 自然语言处理 大模型 LLM 多模态大模型
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/139004248
版权

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

1.多模态大模型推理

LLM 的推理流程：

多模态的 LLM 的原理：

代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理

环境配置与安装

以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ：

  1. 点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境：
  2. 打开 Python 3 (ipykernel)：
  • 示例代码语言大模型推理示例代码
#通义千问1_8B LLM大模型的推理代码示例
#通义千问1_8B:https://modelscope.cn/models/qwen/Qwen-1_8B-Chat/summary
from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

#Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-1_8B-Chat", revision='master', trust_remote_code=True)

#use bf16
#model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
#use fp16
#model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
#use cpu only
#model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="cpu", trust_remote_code=True).eval()
#use auto mode, automatically select precision based on the device.
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", revision='master', device_map="auto", trust_remote_code=True).eval()

#Specify hyperparameters for generation. But if you use transformers>=4.32.0, there is no need to do this.
#model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-1_8B-Chat", trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参

#第一轮对话 1st dialogue turn
response, history = model.chat(tokenizer, "你好", history=None)
print(response)
# 你好！很高兴为你提供帮助。

#第二轮对话 2nd dialogue turn
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
#这是一个关于一个年轻人奋斗创业最终取得成功的故事。
#故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。从小，李明就立下了一个目标：要成为一名成功的企业家。
#为了实现这个目标，李明勤奋学习，考上了大学。在大学期间，他积极参加各种创业比赛，获得了不少奖项。他还利用课余时间去实习，积累了宝贵的经验。
#毕业后，李明决定开始自己的创业之路。他开始寻找投资机会，但多次都被拒绝了。然而，他并没有放弃。他继续努力，不断改进自己的创业计划，并寻找新的投资机会。
#最终，李明成功地获得了一笔投资，开始了自己的创业之路。他成立了一家科技公司，专注于开发新型软件。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
#李明的成功并不是偶然的。他勤奋、坚韧、勇于冒险，不断学习和改进自己。他的成功也证明了，只要努力奋斗，任何人都有可能取得成功。

#第三轮对话 3rd dialogue turn
response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
print(response)
#《奋斗创业：一个年轻人的成功之路》

#Qwen-1.8B-Chat现在可以通过调整系统指令（System Prompt），实现角色扮演，语言风格迁移，任务设定，行为设定等能力。
#Qwen-1.8B-Chat can realize roly playing, language style transfer, task setting, and behavior setting by system prompt.
response, _ = model.chat(tokenizer, "你好呀", history=None, system="请用二次元可爱语气和我说话")
print(response)
#你好啊！我是一只可爱的二次元猫咪哦，不知道你有什么问题需要我帮忙解答吗？

response, _ = model.chat(tokenizer, "My colleague works diligently", history=None, system="You will write beautiful compliments according to needs")
print(response)
#Your colleague is an outstanding worker! Their dedication and hard work are truly inspiring. They always go above and beyond to ensure that 
#their tasks are completed on time and to the highest standard. I am lucky to have them as a colleague, and I know I can count on them to handle any challenge that comes their way.

输出结果：

  • 视觉大模型推理示例代码
 #Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型性能强大，具备多语言对话、多图交错对话等能力，并支持中文开放域定位和细粒度图像识别与理解。
from modelscope import (
    snapshot_download, AutoModelForCausalLM, AutoTokenizer, GenerationConfig
)
from auto_gptq import AutoGPTQForCausalLM

model_dir = snapshot_download("qwen/Qwen-VL-Chat-Int4", revision='v1.0.0')

import torch
torch.manual_seed(1234)

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

# use cuda device
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True,use_safetensors=True).eval()

# 1st dialogue turn
query = tokenizer.from_list_format([
    {'image': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg'},
    {'text': '这是什么'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# 图中是一名年轻女子在沙滩上和她的狗玩耍，狗的品种可能是拉布拉多。她们坐在沙滩上，狗的前腿抬起来，似乎在和人类击掌。两人之间充满了信任和爱。

# 2nd dialogue turn
response, history = model.chat(tokenizer, '输出"狗"的检测框', history=history)
print(response)

image = tokenizer.draw_bbox_on_latest_picture(response, history)
if image:
  image.save('1.jpg')
else:
  print("no box")

输出结果：

  • 音频大模型推理示例代码
from modelscope import (
    snapshot_download, AutoModelForCausalLM, AutoTokenizer, GenerationConfig
)
import torch
model_id = 'qwen/Qwen-Audio-Chat'
revision = 'master'

model_dir = snapshot_download(model_id, revision=revision)
torch.manual_seed(1234)

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
if not hasattr(tokenizer, 'model_dir'):
    tokenizer.model_dir = model_dir

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cpu", trust_remote_code=True).eval()
# use cuda device
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True).eval()


# 1st dialogue turn
query = tokenizer.from_list_format([
    {'audio': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-Audio/1272-128104-0000.flac'}, # Either a local path or an url
    {'text': 'what does the person say?'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# The person says: "mister quilter is the apostle of the middle classes and we are glad to welcome his gospel".

# 2nd dialogue turn
response, history = model.chat(tokenizer, 'Find the start time and end time of the word "middle classes"', history=history)
print(response)
# The word "middle classes" starts at <|2.33|> seconds and ends at <|3.26|> seconds.

输出结果：

2. vLLM+FastChat 高效推理实战

FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。

FastChat 的核心功能包括：
●优秀的大语言模型训练和评估代码。
●具有 Web UI 和 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。

vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员基于操作系统中经典的虚拟缓存和分页技术开发的 LLM 服务系统。他实现了几乎零浪费的 KV 缓存，并且可以在请求内部和请求之间灵活共享 KV 高速缓存，从而减少内存使用量。

实战演示：

  • 安装 FastChat 最新包1
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip install .
  • 环境变量设置

在 vLLM 和 FastChat 上使用魔搭的模型需要设置两个环境变量：1

export VLLM_USE_MODELSCOPE=True
export FASTCHAT_USE_MODELSCOPE=True

2.1 使用 FastChat 和 vLLM 实现发布 model worker(s)

可以结合 FastChat 和 vLLM 搭建一个网页 Demo 或者类 OpenAI API 服务器，

  • 首先启动一个 controller：
python -m fastchat.serve.controller
  • 然后启动 vllm_worker 发布模型。如下给出单卡推理的示例，运行如下命令：千问模型示例：
#以qwen-1.8B为例，在A10运行

python -m fastchat.serve.vllm_worker --model-path qwen/Qwen-1_8B-Chat --trust-remote-code --dtype bfloat16
  • 启动 vLLM 优化 worker 后，本次实践启动页面端 demo 展示：1
python -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 8000

2.2 LLM 的应用场景：RAG

LLM 会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。

RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。

一个典型的 RAG 的例子：

这里面主要包括包括三个基本步骤：

  1. 索引 — 将文档库分割成较短的 Chunk，并通过编码器构建向量索引。
  2. 检索 — 根据问题和 chunks 的相似度检索相关文档片段。
  3. 生成 — 以检索到的上下文为条件，生成问题的回答。

RAG（开卷考试）VS. Finetune（专业课程学习）

示例代码：https://github.com/modelscope/modelscope/blob/master/examples/pytorch/application/qwen_doc_search_QA_based_on_langchain_llamaindex.ipynb

汀、人工智能
关注
  • 27
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
GPT系列报告：具身化多模态 PaLM-E
03-30
PaLM-E：具身化的多模态大语言模型PaLM-E 引入具身化和多模态概念。谷歌在 2022 年提出的 PaLM 模型基础上，引入了具身化和多模态概念，实现了指导现实世界机器人完成相应任务的功能。PaLM-E 的字面理解，是以 PaLM ...
人工智能-多模态-基于baichuan-7b的多模态大语言模型
05-08
多模态: 参考LLaVA 和 mPLUG-Owl 的相关工作, 羽人通过建立线性投影层将 LLM 的语言模态和目前最 SOTA 的 CLIP 模型laion/clip-vit-l-14-datacomp.xl-s13b-b90k 的视觉编码器进行融合, 从而实现了卓越的图片理解能力...
七天入门大模型 ：大模型LLM 训练理论和实战最强总结！
2201_75499313的博客
02-17 1048
模型/训练/推理深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。y = ax + b该方程意味着给出常数a、b后，可以通过给出的x求出具体的y。这个根据x求出y的过程就是模型的推理过程。在LLM中，x一般是一个句子，如“帮我计算23+20的结果”，y一般是：“等于43”。基于上面的方程，如果追加一个要求，希望a=1,b=1,x=3的时候y=10呢？这显然是不可能的，因为按照上面的式子，y应该是4。y=σ(ax+b)这个非线性变换可以理解为指数、对数、或者分段函数等。
LLM 大模型学习必知必会系列：LLM和多模态模型高效推理实践原创
最新发布
2401_85379281的博客
05-29 627
LLM 的推理流程：多模态的 LLM 的原理：代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理环境配置与安装代码语言：python代码语言：python代码语言：python。
LLM 大模型学习必知必会：基于SWIFT的VLLM推理加速与部署实战
2401_84495872的博客
05-29 887
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。天道酬勤，你越努力，就会成为越优秀的自己。
七天入门大模型 ：LLM和多模态模型高效推理实践
2201_75499313的博客
02-14 870
本课程以Qwen系列模型为例，主要介绍在魔搭社区如何高效推理LLM和多模态模型，主要包括如下内容：LLM和多模态大模型的推理使用ModelScope NoteBook免费GPU推理Qwen-1.8B-Chat-int4使用ModelScope NoteBook免费GPU推理Qwen-VL-Chat-int4使用ModelScope NoteBook免费GPU推理Qwen-audio-Chat推理加速和多端推理推理加速：vLLM+fastchat加速推理。
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 699
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
LLM 大模型学习必知必会系列(七)：分布式训练、大模型微调
2301_79125642的博客
05-28 437
我想咨询个问题，是不是我这种工作一年，备考一年，相当于有两年gap的学生，在筛选阶段就会被一票否决啊。本人24届应届，秋招和春招拿了车企和大厂的offer，分别是自动驾驶和大模型，但最近越来越想去国企，楼主目前在一个小厂的开发岗实习，之前投的字节测开岗约了hr面，现在有点纠结小厂氛围不错，就是不知道能。目前小论文投稿出去了，想出去实习，但是导师一开学就说不让实习，该怎么办呢，是偷着出去还是跟老师商量商。东莞农商银行年包15-20w，没说第一年多少，工作强度挺卷，离家更近东莞银行第一年13w，第二年开始。
【LLM多模态】CogVLM图生文模型架构和训练流程
发现问题，并解决问题，批判性思维
03-24 2101
Cogvlm模型共包含四个基本组件：ViT 编码器，MLP 适配器，预训练大语言模型（GPT-style）和视觉专家模块。 - ViT编码器：在 CogVLM-17B 中，采用预训练的 EVA2-CLIP-E。也就是上图将图片进入vit encoder编码。在CogVLM-17B中，移除了ViT编码器的最后一层，因为该层专注于整合[CLS]特征以用于对比学习。 - MLP 适配器：MLP 适配器是一个两层的 MLP（SwiGLU），用于将 ViT 的输出映射到与词嵌入的文本特征相同的空间。注：所有的图像特
【LLM多模态】Qwen-VL模型架构和训练流程
发现问题，并解决问题，批判性思维
04-25 1772
Qwen-VL模型的整体网络架构包括以下三个组件： 大型语言模型（Large Language Model）： - 作用：作为Qwen-VL模型的基础组件，这个部分采用了一个大型语言模型，其初始权重来自于预训练的Qwen-7B模型。 - 来源：Qwen-VL的大型语言模型使用了来自Qwen-7B模型的预训练权重。 视觉编码器（Visual Encoder）： - 作用：视觉编码器采用了Vision Transformer（ViT）架构，用于处理输入图像并生成一组图像特征。在训练和推理过程中，将输入图像调
【LLM多模态】LLava模型架构和训练过程 | CLIP模型
发现问题，并解决问题，批判性思维
05-23 1266
CLIP使用了对比学习的方法，即通过正样本（匹配的图像-文本对）和负样本（不匹配的图像-文本对）来训练模型。在训练过程中，模型会尝试最大化正样本对的相似度（比如通过计算余弦相似度），同时最小化负样本对的相似度。 CLIP模型在zero-shot学习中表现强大，可以直接用于zero-shot推理，比如将猫的图片emb后，将猪狗猫等类的文本描述也分别emb，计算图片和类别emb之间的相似度，从而进行分类。 CLIP-ViT-L/14模型的14表示每个patch的分辨率为14X14，比如在224x224像素的图像
将OpenAI GPT替换为应用程序中的另一个LLM。开源语言模型、语音识别模型和多模态模型运行推理
02-07
将OpenAI GPT替换为应用程序中的另一个LLM。Xinference让您可以自由使用您需要的任何LLM。使用Xinference，您可以使用任何开源语言模型、语音识别模型和多模态模型运行推理，无论是在云中、本地还是在笔记本电脑上
VLE基于预训练文本和图像编码器的图像-文本多模态理解模型：支持视觉问答、图文匹配、图片分类、常识推理等
07-06
VLE基于预训练文本和图像编码器的图像-文本多模态理解模型：支持视觉问答、图文匹配、图片分类、常识推理等 多模态预训练模型通过在多种模态的大规模数据上的预训练，可以综合利用来自不同模态的信息，执行各种跨...
2023大模型与AIGC峰会（公开）PPT汇总（25份）.zip
08-15
2023大模型与AIGC峰会（公开）PPT汇总，共25份。 1、多模态与AIGC论坛 多模态同传翻译落地及优化 AI销售助手中的声音克隆技术 ...mPLUG：多模态对话大模型技术与应用解析 8、AIGC论坛 基于语境学习的图像扩散模
强化学习——学习笔记3
qq_52302919的博客
05-29 1272
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
从零实现Llama3中文版
wdn blog
05-26 771
从零实现Llama3中文版，该项目能在一台 16G RAM 的笔记本电脑上运行。
学 Python 具体能干什么？
猿小白的博客
05-26 1200
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
强化学习——学习笔记
qq_52302919的博客
05-27 1248
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
LLM大模型算不算系统架构
04-10
LLM大模型是一个语言模型，它可以用于自然语言处理任务，如文本生成、问答系统等。它是由CSDN自主开发的AI助手，具有强大的语言理解和生成能力。LLM大模型本身并不是一个系统架构，而是一个模型，可以作为系统架构中的一部分来使用。 在系统架构中，LLM大模型可以用于处理用户输入的文本数据，并生成相应的回答或响应。它可以与其他组件（如前端界面、数据库等）进行交互，实现一个完整的问答系统或智能助手。 因此，LLM大模型可以作为系统架构中的一部分，用于处理自然语言相关的任务，提供智能化的交互和响应能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值