5.Windows11 with WSL2 Ubuntu 子系统运行Yi-1.5-6B-Chat

本文链接：https://blog.csdn.net/yoyokaka/article/details/140264640

目录：

        一. 前言

        二. 系统环境

        三. 新建虚拟环境

        四. 安装依赖库

        五. 下载模型文件

        六. 运行大模型

一. 前言

本次介绍如何在Ubuntu子系统下，使用python代码运行Yi-1.5-6B-Chat开源大模型。

PowerShell执行wsl，进入子系统，子系统内执行：

conda create -n yi-1.5-6b python=3.10
conda activate yi-1.5-6b

conda安装请参考：3.Windows11 with WSL2 Ubuntu 子系统下安装minicoda-CSDN博客

先设置pip镜像源为清华源（设置过，可跳过）

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装依赖

pip install torch torchvision torchaudio
pip install transformers sentencepiece gradio
pip install modelscope
pip install accelerate

比如：/mnt/e/llm/yi-1.5-6b

备注：子系统中的 /mnt/e/ 目录指向的是windows11中的E盘

代码如下：

# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('01ai/Yi-1.5-6B-Chat', cache_dir='/mnt/e/llm/yi-1.5-6b/models')

注意：修改cache_dir为你本地的真实路径

python download.py

子系统下，运行命令

git clone https://github.com/01-ai/Yi-1.5.git

备注：如果无法git clone，可以使用我下载好的zip包： https://download.csdn.net/download/yoyokaka/89518089

进入代码目录：

cd Yi-1.5

运行web demo：

python demo/web_demo.py -c /mnt/e/llm/yi-1.5-6b/models/01ai/Yi-1___5-6B-Chat

-c 后面跟的是模型文件目录地址，需要写绝对路径，请按照自己的真实地址替换一下

All Done.

参考网址：