Linux环境下部署百度百川AI大模型-基于ModelScope

  服务器环境

显存：24 GB
CPU：18核   
内存：32GB
总存储: 100GB

软件环境

git
python 3.10.14
pytorch 2.3.0

 算力平台

魔搭社区

 步骤一：申请算力资源

 步骤二：查看python版本

python
#退出python编译器
exit()

步骤三：下载Baichuan2代码

mkdir /workspace/
cd /workspace/
git clone  https://github.com/baichuan-inc/Baichuan2

下载依赖

cd /workspace/Baichuan2/
pip install --upgrade pip
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/
pip install streamlit
pip install bitsandbytes==0.41.1
pip install accelerate==0.25.0

步骤四：下载模型库

mkdir /workspace/Baichuan2/baichuan-inc
cd /workspace/Baichuan2/baichuan-inc/
sudo apt update
sudo apt install git-lfs

git lfs install
git lfs clone https://www.modelscope.cn/baichuan-inc/Baichuan2-7B-Chat-4bits.git

步骤五：重命名模型文件

cd /workspace/Baichuan2/baichuan-inc/
mv Baichuan2-7B-Chat-4bits Baichuan2-13B-Chat

​另一种实现方式参考Linux环境下部署百度百川AI大模型-基于厚德云-CSDN博客 的步骤五

步骤六：启动大模型会话

命令行启动

cd /workspace/Baichuan2/
python cli_demo.py

​

步骤七：使用模型

​

步骤八：网页版启动

修改web_demo.py内容

baichuan-inc/Baichuan2-7B-Chat-4bits

启动

cd /workspace/Baichuan2/
streamlit run web_demo.py

上面点击第一个Local URL自动跳转，如果不行都点击测试下

附：使用魔塔创空间可以免费申请64小时资源

依靠 streamlit 运行命令，会在本地启动一个 web 服务，把控制台给出的地址放入浏览器即可访问。网页 demo 工具是为 Chat 场景设计，因此不支持使用该工具调用 Base 模型。

参考文章：

Linux环境下部署百度百川AI大模型_linux 大模型-CSDN博客