大语言模型 -- 部署LaWGPT模型记录

模型介绍：

该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。

开源仓库：https://github.com/pengxiao-song/LaWGPT

我的运行环境：Pytorch 1.9.1 Ubuntu
1 * NVIDIA T4 32G

1、安装conda环境

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh

bash Anaconda3-2023.03-Linux-x86_64.sh

设置环境变量

export PATH="/home/ubuntu/anaconda3/bin:$PATH"

source ~/.bashrc

2、clone模型安装依赖

# 下载代码
git clone git@github.com:pengxiao-song/LaWGPT.git
cd LaWGPT

# 创建环境
conda create -n lawgpt python=3.10 -y
conda activate lawgpt
pip install -r requirements.txt

3、安装模型推理所需包

conda install cudatoolkit
conda install scipy
conda insatll chardet

4、运行webui界面

bash scripts/webui.sh

注意，这一步需要使用huggingface上已经训练好的模型，我的服务器是新加坡地区访问可以正常下载，国内的服务器可能会出现下载卡顿，总共14G左右的模型

5、访问weui就可以体验这个法律模型了