服务器环境
显存:24 GB
CPU:18核
内存:32GB
总存储: 100GB
软件环境
git
python 3.10.14
pytorch 2.3.0
算力平台
魔搭社区
步骤一:申请算力资源
步骤二:查看python版本
python
#退出python编译器
exit()
步骤三:下载Baichuan2代码
mkdir /workspace/
cd /workspace/
git clone https://github.com/baichuan-inc/Baichuan2
下载依赖
cd /workspace/Baichuan2/
pip install --upgrade pip
pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/
pip install streamlit
pip install bitsandbytes==0.41.1
pip install accelerate==0.25.0
步骤四:下载模型库
mkdir /workspace/Baichuan2/baichuan-inc
cd /workspace/Baichuan2/baichuan-inc/
sudo apt update
sudo apt install git-lfs
git lfs install
git lfs clone https://www.modelscope.cn/baichuan-inc/Baichuan2-7B-Chat-4bits.git
步骤五:重命名模型文件
cd /workspace/Baichuan2/baichuan-inc/
mv Baichuan2-7B-Chat-4bits Baichuan2-13B-Chat
另一种实现方式参考Linux环境下部署百度百川AI大模型-基于厚德云-CSDN博客 的步骤五
步骤六:启动大模型会话
命令行启动
cd /workspace/Baichuan2/
python cli_demo.py
步骤七:使用模型
步骤八:网页版启动
修改web_demo.py内容
baichuan-inc/Baichuan2-7B-Chat-4bits
启动
cd /workspace/Baichuan2/
streamlit run web_demo.py
上面点击第一个Local URL自动跳转,如果不行都点击测试下
附:使用魔塔创空间可以免费申请64小时资源
依靠 streamlit 运行命令,会在本地启动一个 web 服务,把控制台给出的地址放入浏览器即可访问。网页 demo 工具是为 Chat 场景设计,因此不支持使用该工具调用 Base 模型。
参考文章: