LegalAI领域大规模预训练语言模型的整理、总结及介绍（持续更新ing…）

已于 2024-08-07 18:49:41 修改
阅读量3.4k 收藏 26
点赞数 5
分类专栏： 人工智能学习笔记 文章标签： 语言模型 legalAI LLM 大规模预训练语言模型
于 2023-06-07 18:03:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/130746106
版权

诸神缄默不语-个人CSDN博文目录

文章目录

1. 通用大规模预训练语言模型

英语：

  1. LegalBERT
    1. 原始论文：(2020 EMNLP) LEGAL-BERT: The Muppets straight out of Law School - ACL Anthology
    2. 下载地址：huggingface在这里插入图片描述
  2. CaseLaw-BERT / Custom Legal-BERT
    1. 原始论文：(2021 ICAIL) When does pretraining help?: assessing self-supervised learning for law and the CaseHOLD dataset of 53,000+ legal holdings
    2. 下载地址：https://huggingface.co/casehold/custom-legalbert
  3. BERTLaw
    1. 原始论文：(2021) Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain
    2. 下载地址：https://huggingface.co/nguyenthanhasia/BERTLaw
  4. PolBERT
    1. 原始论文：(2022 NeurIPS) Pile of Law: Learning Responsible Data Filtering from the Law and a 256GB Open-Source Legal Dataset
  5. legal-longformer
    1. 下载地址：https://huggingface.co/saibo/legal-longformer-base-4096
  6. （印度） InLegalBERT
    1. 原始论文：(2023 ICAIL) Pre-trained Language Models for the Legal Domain: A Case Study on Indian Law
    2. 下载地址：https://huggingface.co/law-ai/InLegalBERT
  7. （跨国）LexLM（backbone是RoBERTa）
    1. 原始论文：(2023 ACL) LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development
    2. checkpoint已放到transformers上：
      from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("lexlms/legal-roberta-base")
tokenizer = AutoTokenizer.from_pretrained("lexlms/legal-roberta-base")
  8. （美国）(2024 CIKM) LawLLM: Law Large Language Model for the US Legal System
    类案检索、推荐先例、预测判决结果

中文：

  1. InterLM-Law
    1. 原始论文：(2024) InternLM-Law: An Open Source Chinese Legal Large Language Model
  2. Lawformer
    1. 原始论文：(2021) Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents
    2. 下载方式：thunlp/LegalPLMs: Source code and checkpoints for legal pre-trained language models.
  3. 民事BERT & 刑事BERT
    https://github.com/thunlp/OpenCLaP

意大利语：

  1. ITALIAN-LEGAL-BERT
    1. 原始论文：(2022) ITALIAN-LEGAL-BERT: A Pre-trained Transformer Language Model for Italian Law
    2. 下载地址：https://huggingface.co/dlicari/Italian-Legal-BERT

罗马尼亚语：

  1. jurBERT
    1. 原始论文：(2021 NLLP) jurBERT: A Romanian BERT Model for Legal Judgement Prediction

西班牙语：

  1. RoBERTalex
    1. 原始论文：(2021) Spanish Legalese Language Model and Corpora
    2. 下载地址：PlanTL-GOB-ES/RoBERTalex · Hugging Face

土耳其语：

  1. BERTurk
    1. 原始论文：(2024) LegalTurk Optimized BERT for Multi-Label Text Classification and NER

多语言：

  1. ParaLaw Nets（看论文应该是日语和英语）
    1. 原始论文：(2021 COLIEE) ParaLaw Nets – Cross-lingual Sentence-level Pretraining for Legal Text Processing
    2. 下载地址：我猜是这个：nguyenthanhasia/XLM-Paralaw · Hugging Face
  2. LegalXLMs
    1. 原始论文：(2023) MultiLegalPile: A 689GB Multilingual Legal Corpus
    2. 下载地址：太多了，待补

越南语：

  1. nguyenthanhasia/VNBertLaw · Hugging Face
  2. PhoBERT
    1. 原始论文：(2020 EMNLP) PhoBERT: Pre-trained language models for Vietnamese
    2. 官方GitHub项目（介绍了各个预训练模型checkpoint的地址和下载方式）：VinAIResearch/PhoBERT: PhoBERT: Pre-trained language models for Vietnamese (EMNLP-2020 Findings)

法语

  1. JuriBERT
    1. 原始论文：(2022) JuriBERT: A Masked-Language Model Adaptation for French Legal Text
    2. 下载地址：http://master2-bigdata.polytechnique.fr/resources#juribert（用transformers包的）

葡萄牙语

  1. JurisBERT（巴西）
    1. 原始论文：(2023 ICCSA) JurisBERT: A New Approach that Converts a Classification Corpus into an STS One
    2. 下载地址：https://huggingface.co/alfaneo

评测

  1. open-compass/LawBench: Benchmarking Legal Knowledge of Large Language Models

联邦学习大模型

  1. (2024 DASFAA) FedJudge: Federated Legal Large Language Model

2. 对话模型

中文：

  1. Lawyer LLaMA
    AndrewZhe/lawyer-llama: 中文法律LLaMA
    1. 原始论文：(2023) Lawyer LLaMA Technical Report
    2. 官方GitHub项目：AndrewZhe/lawyer-llama: 中文法律LLaMA
      本地部署版：lawyer-llama-13b-beta1.0已公开（lawyer-llama/run_inference.md at main · AndrewZhe/lawyer-llama · GitHub），但是必须要LLaMA的权重，而我还在排LLaMA的队，所以等着吧
  2. 智海-录问
    zhihaiLLM/wisdomInterrogatory
  3. LawGPT
    pengxiao-song/LaWGPT: 🎉 Repo for LaWGPT, Chinese-Llama tuned with Chinese Legal knowledge. 基于中文法律知识的大语言模型
  4. LexiLaw
    CSHaitao/LexiLaw: LexiLaw - 中文法律大模型
  5. JurisLMs
    seudl/JurisLMs: JurisLMs: Jurisprudential Language Models
  6. ChatLaw
    Chatlaw ——面向未来的法律人工智能：在排队了
    官方GitHub项目：PKU-YuanGroup/ChatLaw: 中文法律大模型：我看issue有很多人都吐槽跑不起来，我就不试了
  7. BaoLuo-LawAssistant-sftglm-6b 宝锣法律大模型1.0
    https://huggingface.co/xuanxuanzl/BaoLuo-LawAssistant-sftglm-6b
    作者官方的知乎博文：宝锣法律大模型及法律AI助理开源 - 知乎
  8. davidpig/lychee_law: 律知, 法律咨询大模型

英文：

  1. Insolvency bot legal n l p | Fast Data Science：这个是专门做公司破产场景的
  2. LawGPT 1.0
    没给代码，无图言屌。
    1. 原始论文：A Brief Report on LawGPT 1.0: A Virtual Legal Assistant Based on GPT-3

应用

  1. Harvey
  2. CoCounsel：文件审查、法律研究备忘录、证词准备和合同分析
  3. DoNotPay
  4. DemandsAI：准备律师函
  5. 幂律智能

3. 分句

多语言：

  1. https://huggingface.co/models?search=rcds/distilbert-sbd（英语、西班牙语、德语、意大利语、葡萄牙语、法语）
    1. 原始论文：(2023 ICAIL) MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset

4. 文本分类

多语言：

  1. PyEuroVoc（欧盟成员国和候选成员国的语言）按照EuroVoc的indicator来进行分类。基于BERT
    1. 原始论文：(2021 RANLP) PyEuroVoc: A Tool for Multilingual Legal Document Classification with EuroVoc Descriptors
    2. 下载地址：https://pypi.org/project/pyeurovoc/

5. 信息抽取

  1. FPDM
    这个原模型是从open-domain迁移到specific domain的工作，法律领域主要做的是contract review（抽取重要信息）
    1. 原始论文：(2023) FPDM: Domain-Specific Fast Pre-training Technique using Document-Level Metadata
    2. 给了代码和数据集：https://drive.google.com/drive/folders/1RT7g_cTR_twz75xmFjDgQmCPWC8sZSFK

6. 案例检索

  1. SAILER
    1. 原始论文：(2023 SIGIR) SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval
      原名caseformer，talk截屏见我之前写的博文：Caseformer talk PPT截屏
    2. CSHaitao/SAILER: The official repo for our SIGIR’23 Full paper: Structure-aware Pre-trained Language Model for Legal Case Retrieval

7. 文本摘要

多语言：

  1. PRIMERA及其他架构
    原始论文：(2022) Multi-LexSum: Real-World Summaries of Civil Rights Lawsuits at Multiple Granularities
    下载地址也在数据集的官方GitHub项目里面：https://github.com/multilexsum/dataset
BERT的结构，并展示如何利用预训练的BERT模型进行自然语言处理任务的建模 BERT Explained: Stateoftheart Pretraining for NLP
AI天才研究院
08-05 949
BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer的预训练语言模型，其通过构建一个双向上下文编码器对文本进行建模。在最近几年里，BERT在许多自然语言处理任务上取得了最先进的结果。它已经成为许多领域最流行的预训练模型之一，包括命名实体识别、情感分析、文本分类、问答系统等。本教程将详细阐述BERT的结构，并展示如何利用预训练的BERT模型进行自然语言处理任务的建模。
【论文泛读74】Lawformer：中国法律长文件的预训练语言模型
scu-liu的博客
05-12 2684
贴一下汇总贴：论文阅读记录 论文链接：《Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents》 一、摘要 法律人工智能（LegalAI）旨在通过人工智能技术（尤其是自然语言处理（NLP））使法律制度受益。最近，受通用领域中预训练语言模型（PLM）成功的启发，许多LegalAI研究人员致力于将PLM应用于法律任务。但是，利用PLM来解决法律任务仍然具有挑战性，因为法律文件通常包含数千个令牌，这远远超过主流PLM可以处理
哈工大讯飞联合实验室发布法律领域ELECTRA预训练模型
zenRRan的博客
12-18 2179
来自：哈工大讯飞联合实验室哈工大讯飞联合实验室发布的中文ELECTRA系列预训练模型再迎新成员。我们基于大规模法律文本训练出中文法律领域ELECTRA系列模型，并且在法律领域自然语言处理...
大模型有哪些？类别全景解析及对比：从预训练到多模态、通用表示模型多任务及强化学习、领域专用、知识库嵌入与检索优化、语音与视频处理、强化学习与自监督大模型
项目git同名小胡说技书
03-13 1452
本文旨在为技术决策者和开发者提供一份系统化、细分且前瞻性的大模型种类全景图，详细阐述预训练模型的基本原理及各类大模型的细分体系，涵盖生成式预训练模型、通用表示模型、多任务通用模型、领域专用大模型、多模态大模型、知识库嵌入与检索优化模型、语音与视频处理模型，以及强化学习与自监督大模型。通过深入解析每一类模型的技术原理、优势特点、典型应用和代表工具，助力企业在实际开发过程中科学选型、精细落地，实现资源最优配置和商业价值最大化。
LaWGPT—基于中文法律知识的大模型
dzysunshine的博客
02-21 6017
知识问答数据集针对Self-Instruct的可靠性和安全性漏洞，使用了基于特定知识的Reliable-Self-Instruction：通过提供具体的法律知识文本，先让ChatGPT生成与该段法律知识内容与逻辑关系相关的若干问题，再通过“文本段-问题”对的方式让ChatGPT回答问题，从而使ChatGPT能够生成含有法律信息的回答，保证回答的准确性。：法律对话模型，构造 35w 高质量法律问答数据集，基于 Chinese-alpaca-plus-7B 指令精调后的模型。
LegalAI公开数据集的整理、总结及介绍（持续更新ing…）
诸神缄默不语的博客
06-07 6422
本文介绍LegalAI领域的公开数据集
医疗金融法律大模型：从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh
热门推荐
结构之法 算法之道
07-05 1万+
第一部分 各种医疗类ChatGPT：或中英文数据微调LLaMA、或中文数据微调ChatGLM 1.1基于LLaMA微调的中英文版ChatDoctor 11.1.1 ChatDoctor：通过self-instruct技术提示API的数据和医患对话数据集微调LLaMA
AI最新开源：LMSYS Org开源LongChat、法律大语言模型ChatLaw、中文医疗对话模型扁鹊
u012744245的博客
07-06 4462
目前支持长上下文的开源大模型已经有支持65K的 MPT-7B-storyteller 和32K的ChatGLM2-6B，闭源大模型比如 Claude-100K and GPT-4-32K，但LMSYS Org的研究人员还是选择通过测试来印证它们是「李鬼」还是「李逵」。6月29日，来自LMSYS Org的研究人员发布了两个支持16k token上下文长度的开源大模型LongChat-7B和LongChat-13B，并测试了几个支持长上下文能力的几个大模型的实际表现。
预训练语言模型笔记
2401_83617942的博客
05-26 1096
在图片分类任务中,常使用(Convolutional Neural Network,CNN)网络，对于由多个层级结构组成的CNN来说,不同层学到的图像特征是不一样的,越浅的层学到的特征越通用,越深的层学到的特征和其体任务的关联性越强。语言模型：给定一句由n个词组成的句子W=w1,W2,......,wn,计算这个子的概率P(w1,W2,...,wn),或者根据前文计算下一个词的概率P(wn/w1,W1,W2..,wn-1)的模型。从机器学习的角度看,语言模型是对语句的概率分布的建模。
预训练语言模型
DecafTea的博客
01-22 2382
『预训练语言模型分类 』 单向特征、自回归模型（单向模型）： ELMO/ULMFiT/SiATL/GPT1.0/GPT2.0 双向特征、自编码模型（BERT系列模型）： BERT/ERNIE/SpanBERT/RoBERTa 双向特征、自回归模型“ XLNet 『各模型之间的联系 』 传统word2vec无法解决一词多义，语义信息不够丰富，诞生了ELMO ELMO以lstm堆积，串行且提取特征能力不够，诞生了GPT GPT 虽然用transformer堆积，但是是单向的，诞生了BERT BERT虽然双向，但
【自然语言处理】大语言模型对齐技术剖析：RLHF与DPO的工程实现及应用了大语言模型
最新发布
04-09
内容概要：文章详细剖析了大语言模型对齐技术，重点介绍了基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）两种主流方法。对齐技术旨在使模型生成的内容符合人类价值观和社会规范，避免出现不当内容。RLHF通过...
人工智能-预训练大语言模型-LexiLaw - 中文法律大模型
09-12
LexiLaw 是一个经过微调的中文法律大模型，它基于 ChatGLM-6B 架构，通过在法律领域的数据集上进行微调，使其在提供法律咨询和支持方面具备更高的性能和专业性。 该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务。无论您是需要针对具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询，LexiLaw 都能够为您提供有益的建议和指导。 同时，我们将分享在大模型基础上微调的经验和最佳实践，以帮助社区开发更多优秀的中文法律大模型，推动中文法律智能化的发展。
深度学习大模型推理加速技术对比分析：LoRA、量化、稀疏化在自然语言处理与计算机视觉中的应用及未来发展趋势
04-09
LoRA通过在预训练模型中插入低秩矩阵进行微调，显著减少了参数量，同时保持甚至提升了模型性能，尤其适用于自然语言处理任务。量化技术通过减少模型参数的存储空间和计算复杂度来加速推理，常见方法包括权重量化、...
探索法律与人工智能的交汇——Awesome-LegalAI-Resources深度解读
gitblog_00043的博客
06-23 364
探索法律与人工智能的交汇——Awesome-LegalAI-Resources深度解读 Awesome-LegalAI-ResourcesThis repository aims to collect all LegalAI data to facilitate the development of intelligent justice systems项目地址:https://gitcode....
万字长文——这次彻底了解LLM大语言模型
XIAO_A_fighting的博客
11-30 1456
在深入学习LLM（大型语言模型）之前，了解NLP（自然语言处理）的基本原理对于应用LLM至关重要。虽然在具体的LLM训练和应用中，NLP相关概念的内容应用可能有限，但这并不削弱了解NLP基础知识的重要性。这种基础知识有助于更好地理解LLM的训练方法、功能以及其在各种领域的潜在应用。因此，在学习LLM之前，建议先掌握NLP的基础原理，以便更全面地掌握这一领域的知识，并能够更好地应用它们。感兴趣的同学可以移步AI模型训练——入门篇。
LexiLaw: 法律文本智能解析器，法律工作者的强大助手
gitblog_00054的博客
04-17 1219
LexiLaw: 法律文本智能解析器，法律工作者的强大助手 去发现同类优质开源项目:https://gitcode.com/ 项目简介 LexiLaw 是一个开源的法律文本智能解析和提取系统，它利用自然语言处理（NLP）和深度学习技术，帮助法律从业者、研究人员和普通用户高效地理解和解析复杂的法律法规文本。通过自动化的方式，LexiLaw 可以解析条款、法规、案例等法律文档，提高工作效率并减少人为错...
探索法律智能的未来：LegalBench 开源项目
gitblog_00047的博客
05-25 366
探索法律智能的未来：LegalBench 开源项目 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在法律领域，智能语言模型的应用正在逐渐改变传统的法律推理和文本理解方式。这就是 LegalBench——一个由 40 多位贡献者共同打造的开源项目，旨在评估英文大型语言模型（LLMs）在法律推理任务中的表现。LegalBench 包含了 162 个来自不同背景的法律专业人...
Transformer模型举例
panshengnan的专栏
12-10 1098
Transformer 架构的灵活性使得它被广泛应用于不同任务，衍生出了许多变体模型，包括编码器为核心的 BERT 系列、解码器为核心的 GPT 系列，以及结合两者的 Seq2Seq 模型（如 T5、BART）。Transformer 模型是基于 Transformer 架构的一类深度学习模型，自从其首次提出以来，已经衍生出了许多不同的变体和应用模型。Transformer 模型是基于 Transformer 架构的一类深度学习模型，自从其首次提出以来，已经衍生出了许多不同的变体和应用模型。
Caseformer talk PPT截屏
诸神缄默不语的博客
06-08 339
Caseformer talk PPT截屏
词语频度与隐马尔科夫模型：拼音输入法与自然语言处理中的优化策略
在拼音输入法的设计中，通过词库的大规模构建，以及利用上下文信息，如基于词的统计语言模型，可以一定程度上提高输入效率。然而，这种方法仍然面临处理多音字和词义歧义的局限。全拼的平均长度，比如2.98，虽然较短...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值