使用trtllm部署流行的llama3模型

已于 2024-07-05 11:16:43 修改
阅读量266 收藏 4
点赞数 10
文章标签： 语言模型
于 2024-07-04 22:24:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_41803770/article/details/140191431
版权

使用trtllm部署流行的llama3模型

关于tensorrt-llm

TensorRT-LLM是由NVIDIA提供的一种优化工具，专门用于在NVIDIA GPU上进行大语言模型（LLM）的推理。它提供了一个易于使用的Python API，可以定义LLM并构建包含最先进优化技术的TensorRT引擎，以高效地执行推理任务 。

以下是TensorRT-LLM的一些关键特性：

高性能推理：利用最新的NVIDIA GPU架构（如Hopper和Ampere）来加速LLM的推理性能 。
量化支持：支持多种数值精度，包括INT4、INT8和FP16，以减少内存占用并提高执行速度 。
模块化设计：提供了类似于PyTorch API的功能模块，如einsum、softmax和matmul，以及用于构建LLM的层模块，例如Attention block和Transformer layer 。
集成与扩展：支持与NVIDIA Triton推理服务器的集成，并包含预定义的流行模型，易于修改和扩展以满足自定义需求 。
TensorRT-LLM旨在作为NVIDIA NeMo框架中的优化骨干，帮助开发、定制和部署生成式AI应用 。

关于使用

我目前觉得最简单的使用方法就是下载nvidia官方的容器，因为他需要很多的c，c++的底层依赖，如果自己安装当然也可以，但是遇到问题的话，linux的环境容易和官方的不一致，遇到很多的麻烦还需要自己去解决，自己去查询资料，这样对于我们这些小白来说不是很方便。所以为了简单起见，还不如直接下载官方的容器。官方的容器有有拥有一模一样的官方的安装的预装包。所以容易成功。增加自己的信心和对于这个工具的使用。

容器的下载

安装docker，需要按照nvidia的container toolkit安装

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

这样docker就可以使用显卡了。

docker run --rm --runtime=nvidia --gpus all --entrypoint /bin/bash -it nvidia/cuda:12.4.0-devel-ubuntu22.04
apt-get update && apt-get -y install python3.10 python3-pip openmpi-bin libopenmpi-dev git git-lfs

# Install the latest preview version (corresponding to the main branch) of TensorRT-LLM.
# If you want to install the stable version (corresponding to the release branch), please
# remove the `--pre` option.
pip3 install tensorrt_llm -U --pre --extra-index-url https://pypi.nvidia.com

# Check installation
python3 -c "import tensorrt_llm"

那么在这个容器里面已经完全变成了该工具能够正常运行的环境了。
需要注意的是容器的驱动cuda和宿主机上的cuda最好版本一致。以免发生不必要的麻烦。
接下来的操作都是在这个容器里面进行的，因为容器本身也是一个linux。

下载trtllm的github repo

git clone https://github.com/NVIDIA/TensorRT-LLM
cd TensorRT-LLM/examples/llama

要进到哪个目录，这要取决于你要运行哪个模型。因为我要运行的是这个模型llama系列，所以我进到这个目录llama。

下载hf模型

我去https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat下载了llama3的模型，然后用trtllm的转换脚本转成下面的模型
下载模型的代码是

git lfs install
git clone https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat

转换代码

python3 convert_checkpoint.py --model_dir  ./Llama3-8B-Chinese-Chat   --output_dir llama-3-8b-ckpt

再把下载的模型编译成tensorrt-llm的engine

trtllm-build --checkpoint_dir llama-3-8b-ckpt
–gemm_plugin float16
–output_dir ./llama-3-8b-engine

然后运行tensorrt-llm的engine

python3 …/run.py --engine_dir ./llama-3-8b-engine --max_output_len 100 --tokenizer_dir ./Llama3-8B-Chinese-Chat --input_text “鲁迅打了周树人”

得到了结果是

在这里插入图片描述

总结

我觉得模型的性能很满意，版本是0.11.0.dev2024062500
其实本身来说这个工具已经做的相当好了，因为不同的模型与不同的运行方法我建议应该该工具要佩戴一个网页的界面，然后让用户很容易很方便的操作。但是后来我觉得这个工作应该是我们这种小白的。使用者来使用的时候，为了自己的方便去开发一个这样子的网页。来增加它的应用性，根本不需要把这个次要的功能添加到本来的代码仓库。增加代码仓库对于这种次要功能的维护精力。所以我觉得以后我要是有时间的话，我会自己去开发一个这样的应用性的界面。来帮助大家更好的操作各种模型的转换以及运行。其实本身的这个仓库的Python代码已经做的非常好了。

Munger hunger
关注
  • 10
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Llama3本地部署的解决方案
herosunly的博客
04-23 10万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
【本地大模型】本地部署Llama3模型的极简教程
沐风—云端行者
04-22 1860
Ollama是一个为本地运行开源大型语言模型而设计的简化工具。它通过将模型权重、配置和数据集整合到一个由Modelfile管理的统一包中，极大地简化了LLM的部署过程。Ollama 支持各种 LLM。可以在官网查看相关信息：https://ollama.com/。本文提供了一个关于如何在本地部署和运行Llama3模型的极简教程，并展示了如何结合open-webui来交互和解析本地文档。通过Ollama工具，无论是MacOS、Linux还是Windows用户，都可以轻松地体验到这一强大的语言模型。
Meta Llama 3 性能提升与推理服务部署
专注于人工智能领域的小何尚
04-28 1870
我们很高兴地宣布 NVIDIA支持 Meta Llama 3 系列模型，从而加速和优化您的 LLM 推理性能。您可以通过浏览器用户界面立即试用和（该系列中的首款型号）。或者，通过在中完全加速的 NVIDIA 堆栈上运行的 API 端点，其中 Llama 3 被打包为，具有可部署在任何地方的标准 API。大型语言模型是计算密集型的。它们的尺寸使得它们昂贵且运行缓慢，尤其是在没有正确的技术的情况下。
LLM 推理：Nvidia TensorRT-LLM 与 Triton Inference Server
2401_85390073的博客
06-27 1380
从TensorRT-LLM+Triton这套方法的部署过程来看，还是较为复杂的，需要先对模型进行编译，还要特别注意环境、参数的设置，稍不注意就无法正常部署。除此之外，英伟达的文档也不够清晰。总体来说，学习成本比较高，但也带来了相对应的推理效果提升的收益（相对于vLLM在量化模型推理、以及token生成速度的场景）。但是，在模型推理场景下，推理效果也并不是唯一选择因素，其他例如框架易用性、不同底层硬件的支持，也需要根据实际情况进行考量，选择最合适推理引擎。
从LLM到大模型推理的最新进展
Aweii__的博客
08-04 871
大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。
TensorRT-llm入门
weixin_40777649的博客
05-13 1289
3. int8-kv-cache量化: KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。最先进的量化方法，如SmoothQuant和AWQ，在量化造成的性能损失适中时，可以有效提升性能。1. 模型量化 参考：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/qwen。对于伦理任务，小型模型对量化的敏感性更高。
成功编译TensorRT-LLM
11-09 998
运行步骤参考/root/autodl-tmp/files/TensorRT-LLM/examples/gpt目录下的readme文档。由于系统中的cudnn是deb安装的，所以去Nvidia下载deb安装，可以直接对旧版本进行覆盖。于是决定通过在公有云申请资源，通过配置TRT-LLM编译依赖环境的方式进行编译。启动已下载的docker镜像，查看编译TRT-LLM的主要依赖项版本。模型保存在/root/autodl-tmp/models/gpt/公有云选择AudoDL，理由简单易用，价格便宜。
TensorRT-9.0和TensorRT-LLM马上要发布了！
CV_Autobot的博客
08-19 654
作者|Oldpan 编辑|oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群本文只做学术分享，如有侵权，联系删文TensorRT-9.0和TensorRT-LLM马上要发布了，这里先汇总一下信息，之后会搞，需要注意这俩是两个不一样的东西，后者继承自fastertransformer，是大语言版本的tensorr...
大语言模型推理提速：TensorRT-LLM 高性能推理实践
阿里巴巴云原生的博客
01-24 1638
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有 self-attention 的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
本项目将介绍如何使用OpenVINO进行大模型的本地化部署，特别是针对LLaMa3模型的实例。通过该项目，开发者可以学习到如何将复杂的模型部署到边缘设备，以便在本地运行高效且实时的推理任务。 LLaMa3是一种大规模的预...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
LLama3 中文大模型LLama3 中文大模型
08-20
LLama3 中文大模型
在生产环境通过 TensorRT-LLM 部署 LLM
m0_59235945的博客
06-04 1163
开源的大型语言模型确实达到了预期的效果。许多在生产环境中使用 GPT-3.5 或 GPT-4 的公司已经意识到，从成本角度来看，这些模型难以扩展。因此，企业正在寻找良好的开源替代方案。最近的模型如 Mistral 和 Llama 2 在输出质量方面表现出色。但是，将这些模型扩展以支持数千并发用户仍然是一个挑战。尽管像 vLLM 和 TGI 这样的框架是提升推理性能的一个很好的开端，但由于缺乏一些优化，很难在生产环境中对它们进行扩展。这就是 TensorRT-LLM 的用武之地。
nginx-1.24.0.tar
09-06
Nginx 1.24.0 是 Nginx 开源项目发布的一个重要更新版本，该版本在性能优化、功能增强以及安全性提升方面带来了诸多改进。当您下载 Nginx 1.24.0 的压缩包时，您将获得一个包含 Nginx 源代码的压缩文件，通常命名为 nginx-1.24.0.tar.gz（对于 GNU/Linux 和 macOS 系统）或类似的格式，具体取决于发布平台。 这个压缩包包含了编译 Nginx 服务器所需的所有源代码文件、配置文件模板（如 nginx.conf）、模块源码以及构建和安装说明。通过解压这个压缩包，您可以在支持 C 语言编译器的操作系统上编译并安装 Nginx 1.24.0。 Nginx 1.24.0 引入了一系列新特性和优化，可能包括但不限于对 HTTP/2 和 HTTP/3 协议的进一步支持、性能提升、新的模块或模块更新，以及对已知安全漏洞的修复。这使得 Nginx 能够在保持其作为高性能 HTTP 和反向代理服务器的声誉的同时，继续满足不断发展的网络需求。
智能化病虫害标注系统前端.zip
09-06
图像识别技术在病虫害检测中的应用是一个快速发展的领域，它结合了计算机视觉和机器学习算法来自动识别和分类植物上的病虫害。以下是这一技术的一些关键步骤和组成部分： 1. **数据收集**：首先需要收集大量的植物图像数据，这些数据包括健康植物的图像以及受不同病虫害影响的植物图像。 2. **图像预处理**：对收集到的图像进行处理，以提高后续分析的准确性。这可能包括调整亮度、对比度、去噪、裁剪、缩放等。 3. **特征提取**：从图像中提取有助于识别病虫害的特征。这些特征可能包括颜色、纹理、形状、边缘等。 4. **模型训练**：使用机器学习算法（如支持向量机、随机森林、卷积神经网络等）来训练模型。训练过程中，算法会学习如何根据提取的特征来识别不同的病虫害。 5. **模型验证和测试**：在独立的测试集上验证模型的性能，以确保其准确性和泛化能力。 6. **部署和应用**：将训练好的模型部署到实际的病虫害检测系统中，可以是移动应用、网页服务或集成到智能农业设备中。 7. **实时监测**：在实际应用中，系统可以实时接收植物图像，并快速给出病虫害的检测结果。 8. **持续学习**：随着时间的推移，系统可以不断学习新的病虫害样本，以提高其识别能力。 9. **用户界面**：为了方便用户使用，通常会有一个用户友好的界面，显示检测结果，并提供进一步的指导或建议。 这项技术的优势在于它可以快速、准确地识别出病虫害，甚至在早期阶段就能发现问题，从而及时采取措施。此外，它还可以减少对化学农药的依赖，支持可持续农业发展。随着技术的不断进步，图像识别在病虫害检测中的应用将越来越广泛。
Python 小游戏 （贪吃蛇、五子棋、扫雷、俄罗斯方块）
最新发布
09-06
python
MATLAB/simulink 电力系统之变压器仿真-变压器空载运行仿真，磁通饱和+励磁电流
09-06
MATLAB/simulink 电力系统之变压器仿真- 变压器空载运行仿真，磁通饱和+励磁电流
部署和精调llama模型
07-27
部署和精调LLAMA模型是为了在实际生产环境中使用该模型进行预测和推理任务。 首先，部署LLAMA模型需要将其转换为可运行的形式，以便在生产环境中进行使用。这通常涉及将模型转换为适当的格式，例如ONNX或TensorFlow SavedModel。之后，可以将模型部署到生产服务器中，使其可以接收输入数据并生成预测结果或推理。 在部署之前，需要进行精调以优化模型的性能和准确度。这包括使用已标记的数据集对模型进行训练，并进行超参数调整以找到最佳的模型配置。此外，还可以使用一些技术来提高模型的性能，如模型蒸馏、剪枝和量化等。 在部署和精调LLAMA模型时，还需要考虑一些其他因素。例如，必须确保生产环境中的数据与模型训练时使用的数据具有相似的特征分布，以避免出现偏差。同时，还需要考虑模型的计算资源需求和延迟要求，以确保生产环境中可以满足这些要求。 最后，一旦LLAMA模型成功部署并进行了精调，就可以使用它来进行各种实际应用，如图像分类、文本生成或语音识别等领域。通过不断收集反馈数据并进行模型更新，可以不断改进模型的性能和准确度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值