目录:
一. 前言
二. 系统环境
三. 新建虚拟环境
四. 安装依赖库
五. 下载模型文件
六. 运行大模型
一. 前言
本次介绍如何在Ubuntu子系统下,使用python代码运行Yi-1.5-6B-Chat开源大模型。
二. 系统环境
- 操作系统:Windows 11 23H2
- 子系统:Ubuntu 22.04
- 显卡: Nvidia RTX 4090
- minicoda: v24.5
三. 新建虚拟环境
PowerShell执行wsl,进入子系统,子系统内执行:
conda create -n yi-1.5-6b python=3.10
conda activate yi-1.5-6b
conda安装请参考:3.Windows11 with WSL2 Ubuntu 子系统下安装minicoda-CSDN博客
四. 安装依赖库
先设置pip镜像源为清华源(设置过,可跳过)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
安装依赖
pip install torch torchvision torchaudio
pip install transformers sentencepiece gradio
pip install modelscope
pip install accelerate
五. 下载模型文件
1. 新建一个工作目录
比如:/mnt/e/llm/yi-1.5-6b
备注:子系统中的 /mnt/e/ 目录指向的是windows11中的E盘
2. 然后新建一个download.py文件
代码如下:
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('01ai/Yi-1.5-6B-Chat', cache_dir='/mnt/e/llm/yi-1.5-6b/models')
注意:修改cache_dir为你本地的真实路径
3. 执行python文件,开始下载
python download.py
五. 运行大模型
1. 下载代码库
子系统下,运行命令
git clone https://github.com/01-ai/Yi-1.5.git
备注:如果无法git clone,可以使用我下载好的zip包: https://download.csdn.net/download/yoyokaka/89518089
2. 运行web demo
进入代码目录:
cd Yi-1.5
运行web demo:
python demo/web_demo.py -c /mnt/e/llm/yi-1.5-6b/models/01ai/Yi-1___5-6B-Chat
-c 后面跟的是模型文件目录地址,需要写绝对路径,请按照自己的真实地址替换一下
3.打开一个浏览器,访问http://127.0.0.1:8000
All Done.
参考网址: