LaWGPT—基于中文法律知识的大模型

dzysunshine

已于 2024-02-21 18:03:55 修改

阅读量6.1k

点赞数 23

文章标签：垂直领域法律大模型

于 2024-02-21 18:03:16 首次发布

本文链接：https://blog.csdn.net/dzysunshine/article/details/136179198

版权

文章介绍了LaWGPT系列模型，基于中文法律知识，通过预训练和指令精调增强法律理解能力。模型构建涉及大规模法律数据、数据清洗和二次训练，可用于法律问答、对话模型和知识推理。项目提供了模型部署和推理的指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LaWGPT：基于中文法律知识的大语言模型

LaWGPT是2023年5月13日发布的一系列基于中文法律知识的开源大语言模型。

该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。

github地址：https://github.com/pengxiao-song/LaWGPT/tree/main

数据构建

本项目基于中文裁判文书网公开法律文书数据、司法考试数据等数据集展开，详情参考中文法律数据源汇总（Awesome Chinese Legal Resources）。

初级数据生成：根据 Stanford_alpaca 和 self-instruct 方式生成对话问答数据
知识引导的数据生成：通过 Knowledge-based Self-Instruct 方式基于中文法律结构化知识生成数据。
引入 ChatGPT 清洗数据，辅助构造高质量数据集。

模型及训练步骤

2023/04/12，内部测试模型：
LaWGPT-7B-alpha：在 Chinese-LLaMA-7B 的基础上直接构造 30w 法律问答数据集指令精调；

2023/05/13，公开发布两个模型：
Legal-Base-7B：法律基座模型，使用 50w 中文裁判文书数据并基于 Chinese-LLaMA-7B 模型二次预训练后得到的模型，Legal-Base-7b模型（无需合并）下载地址：
https://huggingface.co/yusp998/legal_base-7b
https://hf-mirror.com/yusp998/legal_base-7b
LaWGPT-7B-beta1.0：法律对话模型，构造 30w 高质量法律问答数据集基于 Legal-Base-7B 指令精调后的模型

2023/05/30：公开发布一个模型
LaWGPT-7B-beta1.1：法律对话模型，构造 35w 高质量法律问答数据集，基于 Chinese-alpaca-plus-7B 指令精调后的模型。