LMDeploy 量化部署 LLM&VLM 实践

已于 2024-05-11 16:27:36 修改
阅读量411 收藏 1
点赞数 9
文章标签： 人工智能
于 2024-05-11 16:02:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73902638/article/details/138718905
版权

基础作业（结营必做）

一、配置 LMDeploy 运行环境

1.1 InternStudio开发机创建conda环境（推荐）

        由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy的环境：

studio-conda -t lmdeploy -o pytorch-2.1.2

1.2 激活lmdeploy并安装环境

conda activate lmdeploy

二、以命令行方式与 InternLM2-Chat-1.8B 模型对话

lmdeploy chat /root/internlm2-chat-1_8b

三、笔记

查看进程

ps -ef|grep python

杀死进程

kill -9 12533

饮酒醉沧桑
关注
  • 9
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
LLM在电商推荐系统的探索与实践
11-21
"LLM在电商推荐系统的探索与实践" 本文探索了大语言模型(LLM)在电商推荐系统中的应用，旨在解决推荐系统中经典的CF范式与LLM之间的差距。通过使用LLM对推荐系统进行数据增强，既能保证基础推荐系统的准确性，又充分...
LLM在电商多模态内容推荐系统的探索与实践
11-21
LLM 在电商多模态内容推荐系统中的探索与实践 本文探索了大语言模型（LLM）在电商多模态内容推荐系统中的应用，旨在解决推荐系统中的数据稀疏性问题。通过使用 LLM 增强 side information，系统可以更好地捕捉用户...
LMDeploy 量化部署 LLM&VLM实战--笔记
taotao_zhang1的博客
04-12 1006
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
【书生·浦语大模型实战营】第5节：LMDeploy 大模型量化部署实践（作业版）
zhenzhu2882的博客
02-20 373
【书生·浦语大模型实战营】第5节：LMDeploy 大模型量化部署实践（作业版）
- 使用 LMDeploy部署Llama 3
黑马程序员黄河的专栏
05-12 976
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。下面通过几个例子，来看一下调整--cache-max-entry-count参数的效果。参数设置为0.01，约等于禁止KV Cache占用显存，显存占用16G，如果你和模型对话，会发现慢一些，这是代价。可以看到，显存占用变为6582MB，明显降低。
LMDeploy 高效部署 Llama3 实践
05-12 995
官方介绍LMDeploy是一个用于压缩、部署和服务LLM的工具包，由MMRazor和MMDeploy团队开发。具有高效推理、有效量化和轻松分发的特性。另外书生浦语举办的大模型实战营第二期开班了，免费学、免费提供算力！欢迎大佬萌新加入交流！
第5节 LMDeploy 量化部署 LLM 实践 作业
u012173639的博客
04-25 215
书生·浦语大模型实战营(第二期) 第 5 节作业提交
【大模型研究】（1）：从零开始部署书生·浦语2-20B大模型，使用fastchat和webui部署测试，autodl申请2张显卡，占用显存40G可以运行
freewebsys的专栏
01-21 1732
总体上效果还不错。速度也挺快的。需要 40G的显存才可以启动成功。而且可以使用webui 启动成功。
LMDeploy 量化 部署 LLM&VLM 实践
qq_42137576的博客
05-23 1075
LMDeploy 量化部署 LLM&VLM 实践
LMDeploy量化部署LLM&VLM 实践
weixin_45222417的博客
04-24 508
【代码】LMDeploy量化部署LLM&VLM 实践。
LMDeploy量化部署LLM&VLM实践
Moo_n_earth的博客
06-08 646
进入开发机，切换为终端(Terminal)模式。
大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战
04-27
本文将详细解析如何利用OpenVINO工具部署LLM（Large Language Model）大语言模型，如LLama2、ChatGLM3和Qwen7B，并通过实际项目源码提供实践指导。 首先，让我们理解什么是大语言模型。大语言模型是训练在海量文本...
利用LLM构建应用实践笔记.zip
02-07
python chatgpt
Python_LMDeploy是一个用于压缩部署和服务llm的工具包.zip
05-24
Python_LMDeploy 是一个专为简化LLM（Local Language Model）部署和服务设计的工具包。这个工具包的核心目标是帮助开发者将训练好的语言模型快速、有效地部署到生产环境中，以便为用户提供高效、准确的语言处理服务...
2024钉钉杯A题思路详解
最新发布
全栈川川
07-26 1490
2024钉钉杯思路
随机数种子的作用
帆的博客
07-23 1309
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
常见的文心一言的指令
知码客
07-25 1037
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
安装TensorRT各自小库版本问题
Ppandaer的博客
07-24 363
降版本：protobuf3.19，onnx 1.12。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值