面向专业人士的中文法律文书生成系统-大模型应用开发博客（项目进度及开发日志只在本博文更新，其他博客为技术报告）

原创

已于 2024-06-24 05:50:23 修改 · 965 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型

于 2024-03-27 20:41:51 首次发布

山东大学软件学院项目实训项目持续更新中

基础模型：

ChatGLM-6B https://github.com/THUDM/ChatGLM-6B

（后续采用该模型新版本ChatGLM3-6B:GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型）

项目背景及介绍：

在通用领域，以OpenAI的GPT系列，国内的通义千问、智谱AI等为代表的一系列大模型已经具有较高的预测性能和符合自然语言规范的对话习惯，也已经做了较为成熟的模型推理服务化工作，形成了Web应用等供用户访问；故在这方面再进行创新具有较高难度和较低的可行性。

与此同时，我们注意到，在面向专业人士的中文法律文书生成领域，仍有较大的创新空间：通用大模型为保证其在不同领域的高性能，其生成内容（或预测结果、对话内容）往往不会严格符合中文法律文书的语言习惯；通用大模型数据更新具有一定滞后性（如GPT3.5数据截止至2021年，ChatGLM数据截止至2022年），面对涉及我国新修改法律条文（如2024《刑法修正案(十二)》）时会出现预测错误；通用大模型在其预训练（pre-training）和微调（fine-tuning）阶段会受到非法律数据集或其他语言法律数据集的训练，从而影响参数，干扰其在中文法律文书生成这一特化领域的性能等等。

我们项目的目标就是针对以上问题，开发出严格符合中文法律文书用语习惯、具有较好时效性的能为法律从业者带来良好交互体验的大模型Web应用。

（以上为立项阶段项目计划相关内容）

项目开发日志

2024年4月

云服务器：阿里云

1、原始模型部署

使用阿里云提供的计算资源

克隆模型和项目到云上，并安装相关依赖

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

git clone https://github.com/THUDM/ChatGLM3.git

pip install -r requirements.txt

修改模型项目的启动路径，即可在云服务器上完成原始模型的部署

以命令行启动为例，将项目中的模型路径修改为本地模型路径

python cli_demo.py

2、训练环境搭建

训练工具：LLaMA FactoryGitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs

环境搭建：

# 克隆项目
git clone https://github.com/hiyouga/LLaMA-Factory.git

# 安装项目依赖
cd LLaMA-Factory
pip install -r requirements.txt
pip install transformers_stream_generator bitsandbytes tiktoken auto-gptq optimum autoawq
pip install --upgrade tensorflow
pip uninstall flash-attn -y

# 运行
CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/train_web.py

阿里云不兼容LLaMA-Factory web界面的解决方法：

#将LLaMA-Factory恢复为旧版
git checkout v0.6.0

#运行
CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/train_web.py

#会报错，然后根据提示将gradio也恢复成兼容版本即可
pip install "gradio>=3.38.0,<4.0.0"

启动效果