英特尔至强处理器的G8i云环境实例部署Qwen-7B-Chat-大模型客服助手项目

最新推荐文章于 2024-09-20 17:12:55 发布

maizi80

最新推荐文章于 2024-09-20 17:12:55 发布

阅读量302

点赞数 4

分类专栏：大模型文章标签： nlp 阿里云

本文链接：https://blog.csdn.net/andv1/article/details/142112361

版权

大模型专栏收录该内容

1 篇文章 0 订阅

订阅专栏

随着人工智能技术的迅猛发展，大型语言模型（LLM）已成为学术研究与实际应用中的焦点。在自然语言处理（NLP）领域，这些模型于诸如文本生成、机器翻译及自动摘要等任务中表现优异。Qwen2-7B作为该领域的杰出代表之一，凭借其卓越的能力以及开源的特点，吸引了众多研究者和开发者的关注，激发了广泛的技术探索与创新。

阿里云的英特尔至强可扩展处理器的G8i云环境，即阿里云八代实例（g8i/c8i/r8i/hfc8i/hfg8i/hfr8i）采用Intel® Xeon® Emerald Rapids或者Intel® Xeon® Sapphire Rapids，该实例支持使用新的AMX（Advanced Matrix Extensions）指令来加速AI任务。相比于上一代实例，八代实例在Intel® AMX的加持下，推理和训练性能大幅提升。

环境准备

创建ECS实例

按照界面提示完成参数配置，创建一台ECS实例。

需要注意的参数如下，其他参数的配置。

实例：Qwen-7B-Chat运行大概需要16 GiB内存以上，为了保证模型运行的稳定，实例规格至少需要选择ecs.c8i.4xlarge（32 GiB内存）。

2. 镜像选择

PyTorch版本: 2.1.0
操作系统: Ubuntu 22.04
CUDA版本: 12.1

3. 环境配置

通过JupyterLab访问服务器，并打开终端进行环境配置。注意：对于国内用户来说，默认的pip源在国外访问速度较慢，更换为清华大学的镜像源可以显著提高下载速度。使用以下命令更换pip源以加速依赖包的下载：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装所需的依赖包：

pip install fastapi==0.104.1 uvicorn==0.24.0.post1 requests==2.25.1 modelscope==1.11.0 transformers==4.41.0 streamlit==1.24.0 sentencepiece==0.1.99 accelerate==0.24.1 transformers_stream_generator==0.0.4

这些依赖包含了用于提供服务的Uvicorn ASGI服务器和构建Web服务的FastAPI框架，以及其他与模型加载和运行相关的库。

模型下载

利用modelscope库的snapshot_download函数下载Qwen2-7B-Instruct模型

也可以采用git下载

git clone https://www.modelscope.cn/qwen/Qwen2-7B-Instruct.git

modelscope下载模型脚本：

import torch

from modelscope import snapshot_download



# snapshot_download函数用于下载模型

model_dir = snapshot_download(

    'qwen/Qwen2-7B-Instruct',  # 模型名称

    cache_dir='/root/autodl-tmp',  # 缓存目录

    revision='master'  # 版本号

)

执行该脚本将从modelscope下载Qwen2-7B-Instruct模型，并保存到指定的缓存目录中。

测试

我们直接在控制台测试效果，在运行代码：