比原生Transformer快的LMDeploy

find_element_by_id

已于 2024-07-31 10:36:10 修改

阅读量221

点赞数 5

文章标签：人工智能

于 2024-07-31 10:26:33 首次发布

本文链接：https://blog.csdn.net/qq_33382118/article/details/140815798

版权

创建conda环境

conda create lmdeploy

conda activate lmdeploy

安装依赖包(注：下对应的版本要不然容易报错)

pip install pytorch==2.1.2

pip install lmdeploy[all]==0.3.0

下载模型

通过Git协议下载模型。首先安装git-lfs组件此处使用的root权限

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt update
apt install git-lfs   
git lfs install  --system

安装好git-lfs组件后，由OpenXLab平台下载InternLM2-Chat-1.8B模型：

git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-1.8b.git

把模型放到对应的路径下如

mv /root/internlm2-chat-1.8b /root/internlm2-chat-1_8b

使用LMDeploy与模型对话

执行如下命令运行下载的1.8B模型

lmdeploy chat /root/internlm2-chat-1_8b

就可以与InternLM2-Chat-1.8B大模型对话了。比如输入“请给我讲一个小故事吧”，然后按两下回车键

也可以启动API服务器

lmdeploy serve api_server \
    /root/internlm2-chat-1_8b \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。

启动客户端调用

lmdeploy serve api_client http://localhost:23333

网页客户端连接API服务器

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

打开浏览器，访问地址http://127.0.0.1:6006

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

find_element_by_id

关注关注

5
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解

iioSnail的博客

07-28

8万+

1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。

deploy-transformers：轻松部署来自HuggingFace的Transformers的最新语言模型

02-05

:rocket: 部署变形金刚 :hugging_face: 只需三行代码即可部署SOTA模型以生成文本 :laptop: 安装显然需要和。 pip install deploy-transformers 对于部署，文件结构需要像这样： ├── static │ ├── script.js │ ├── style.css ├── templates │ ├── 404.html │ ├── index.html | └── your_file.py 您可以克隆该存储库以包含原始文件，也可以使用函数website.create_structure()或自行创建结构。 website.create_structure(

参与评论您还未登录，请先登录后发表或查看评论

高效部署Transformer模型：探索`transformer-deploy`

gitblog_00093的博客

03-25

530

高效部署Transformer模型：探索transformer-deploy transformer-deploy Efficient, scalable and enterprise-grade CPU/GPU inference server for ???? Hugging Face transformer models...

Transformer量化部署初步探讨

Artyze的博客

07-23

3220

transformer部署探讨

caffe 使用训练好的模型进行测试

sinat_38439143的博客

07-26

1893

1.准备所需文件在caffe/examples 新建一个文件夹 1.1 文件清单模型：train_iter_xxxx.caffemodel deploy.prototxt python 均值文件:mean.npy 标签说明：labels.txt 测试图片 1.2 编写label.txt 按照标签0开始编写类别名称，如果标签不是从0开始的，一定要补齐。如果输出层的类别比总的类别大，后面也要补齐。...

Transformer推理性能优化技术很重要的一个就是K V cache，能否通俗分析，可以结合代码?

张伟的专栏

04-19

3396

KV cache对应的优化方法，总结成下表：由上表可以看出，KV cache是个值得投入精力去研究的一个重要方向，算法上有着许多未知的方法可以去探索，工程上相对滞后，至少在主流推理框架上对部分方向的优化策略相对保守，这就给了足够多的机会。

LMDeploy量化部署LLM实战

garyyu2200的博客

06-04

834

LMDeploy 是由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。本次实战，采用LMDeploy方案进行模型的推理、量化和部署，让大家感受下该解决方案的速度和效率的提升。

LMDeploy量化部署LLM&VLM实践

GYX67的博客

07-25

985

打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。

swin transformer权重

08-11

预训练权重提供了良好的起点，使得在新任务上微调模型时可以更快收敛，降低过拟合的风险。 Transformer模型最早由Vaswani等人在2017年提出，其主要由自注意力机制和前馈神经网络组成。自注意力允许模型在计算每个...

Transformer介绍讲义pdf

10-18

### Transformer架构概述 #### 1. Transformer模型简介 Transformer是一种在自然语言处理（NLP）领域内具有革命性意义的模型结构，它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）作为核心处理单元的方式...

Transformer详解.pptx

06-15

Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Ashish Vaswani等人在2017年提出的论文《Attention is all you need》中首次介绍。它摒弃了传统的循环神经网络（RNN）和长短期记忆网络（LSTM）结构...

Transformer

06-05

- **英语到德语翻译**：在WMT 2014英语到德语的翻译任务中，Transformer模型取得了28.4 BLEU的成绩，比现有最佳结果提高了超过2 BLEU分值，这其中包括了各种集成方法的结果。 - **英语到法语翻译**：同样地，在WMT ...

人工智能 | ShowMeAI资讯日报 #2022.06.04

最新发布

2301_80236428的博客

11-14

293

从物理模型融合到复杂流动模拟，从数据驱动研究到流场智能分析，深度学习正以前所未有的力量重塑流体力学领域。伴随深度学习在流体力学研究中应用的普及，相关的开源软件和工具为科研人员提供了便捷的平台，简化了深度学习模型的实现与应用过程，加速了研究成果的转化。深度学习架构能够有效从流体数据中抽取关键特征，应用于流场预测、流动优化、流场可视化等多个领域，极大地提升了流体问题的分析效率和精度。构建物理增强的深度学习模型，将流体力学的控制方程、边界条件等物理规则内嵌于模型中，以提高模型的准确性和物理一致性。

卷积神经网络CNN

m0_53374676的博客

11-13

375

卷积层通过应用一组可学习的滤波器（或称核）到输入图像的不同位置，产生一个特征映射（Feature Map）。CNN是一种前馈神经网络，它的人工神经元可以对输入的图像数据进行响应，并且可以检测图像中的局部特征，如边缘、纹理等。

Ubuntu 20.04配置ollama并下载安装调用本地大语言模型

电子爱好者磊雷

11-11

967

Ollama 是一种新的本地语言模型管理与运行平台，旨在帮助用户在本地环境中运行和管理大型语言模型（LLMs），例如 LLaMA、GPT 等。与传统基于云的解决方案不同，Ollama 专注于在用户本地系统上运行这些模型，以提高数据隐私性和响应速度。

人工智能是这样理解“情绪”的

JellyAI的博客

11-12

1039

在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。

pytorch基础-数据集导入

gudao07的博客

11-14

561

pytorch的数据导入，包括dataset,tensorboard,transform,dataloder等

原生transformer代码 pytorch

04-05

以下是一个简单的原生Transformer代码示例，使用PyTorch实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class Transformer(nn.Module): def __init__(self, src_vocab_size, tgt_vocab_size, d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, dropout=0.1): super(Transformer, self).__init__() self.d_model = d_model self.embedding_src = nn.Embedding(src_vocab_size, d_model) self.embedding_tgt = nn.Embedding(tgt_vocab_size, d_model) self.pos_encoder = PositionalEncoding(d_model, dropout) self.transformer = nn.Transformer(d_model=d_model, nhead=nhead, num_encoder_layers=num_encoder_layers, num_decoder_layers=num_decoder_layers, dim_feedforward=dim_feedforward, dropout=dropout) self.fc = nn.Linear(d_model, tgt_vocab_size) self.softmax = nn.Softmax(dim=-1) def forward(self, src, tgt): src = self.embedding_src(src) * math.sqrt(self.d_model) src = self.pos_encoder(src) tgt = self.embedding_tgt(tgt) * math.sqrt(self.d_model) tgt = self.pos_encoder(tgt) output = self.transformer(src, tgt) output = self.fc(output) output = self.softmax(output) return output class PositionalEncoding(nn.Module): def __init__(self, d_model, dropout=0.1, max_len=5000): super(PositionalEncoding, self).__init__() self.dropout = nn.Dropout(p=dropout) pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0, 1) self.register_buffer('pe', pe) def forward(self, x): x = x + self.pe[:x.size(0), :] return self.dropout(x) ``` 这是一个基本的Transformer模型，包含一个由嵌入层和位置编码层组成的编码器和解码器，以及一个标准的Transformer层。在正向传递中，输入经过嵌入和位置编码处理后，被送入Transformer层进行处理，最后通过全连接层和Softmax层输出结果。在位置编码层中，我们使用了一个可学习的嵌入向量和一个固定的位置编码矩阵，以将位置信息融入到输入中。