一、介绍
DISC-LawLLM是一个专注于司法领域的大模型,由复旦大学数据智能与社会计算实验室(Fundan DISC)开发。它具备通用的大语言模型能力,同时也具备司法领域的专业技能。DISC-LawLLM可以为用户提供法律相关的回答和帮助,包括法律咨询、司法信息抽取、罪名预测、司法摘要、文书起草、类案检索等。该模型具有准确性高、专业性强、效率快的特点,能够满足用户在司法领域的各种需求。
二、部署流程
环境推荐配置
系统:Ubuntu22.04,
显卡:4090,
显存:24G,cuda11.8
(在部署完成进行对话时一张卡回答得很慢,建议使用两张)
1. 基础环境
查看系统是否有Miniconda3的虚拟环境
conda -V
如果输入命令没有显示Conda版本号,则需要安装。
2.更新系统命令
输入下列命令将系统更新及系统下载
apt-get update && apt-get install ffmpeg libsm6 libxext6 -y
3.创建虚拟环境
创建名称为“DISC-LawLLM”的虚拟环境并激活
conda create -n DISC-LawLLM python==3.8 -y
4.下载模型
输入下列命令下载DISC-LawLLM模型同时进入项目中
git clone https://gitclone.com/github.com/FudanDISC/DISC-LawLLM.git
cd DISC-LawLLM
5.下载模型依赖包
输入下列命令:
pip install -r requirements.txt
建议使用这行命令,提升下载速度:
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
三、网页演示
在本地运行streamlit应用程序,使用下列命令运行项目呈现模型的成功界面
streamlit run web_demo.py --server.port 8080 --server.address 0.0.0.0
打开网址: