哈工大讯飞联合实验室发布法律领域ELECTRA预训练模型

来自：哈工大讯飞联合实验室

哈工大讯飞联合实验室发布的中文ELECTRA系列预训练模型再迎新成员。我们基于大规模法律文本训练出中文法律领域ELECTRA系列模型，并且在法律领域自然语言处理任务中获得了显著性能提升。欢迎各位读者下载试用相关模型。

项目地址：http://electra.hfl-rc.com

中文法律领域ELECTRA

我们在20G版（原版）中文ELECTRA的基础上加入了高质量2000万裁判文书数据进行了二次预训练，在不丢失大规模通用数据上学习到的语义信息，同时使模型对法律文本更加适配。本次发布以下三个模型：

• legal-ELECTRA-large, Chinese: 24-layer, 1024-hidden, 16-heads, 324M parameters

• legal-ELECTRA-base, Chinese: 12-layer, 768-hidden, 12-heads, 102M parameters

• legal-ELECTRA-small, Chinese: 12-layer, 256-hidden, 4-heads, 12M parameters

快速加载

哈工大讯飞联合实验室发布的所有中文预训练语言模型均可通过huggingface transformers库进行快速加载访问，请登录我们的共享页面获取更多信息。

https://huggingface.co/HFL

模型键值如下：

hfl/chinese-legal-electra-large-discriminator

hfl/chinese-legal-electra-large-generator

hfl/chinese-legal-electra-base-discriminator

hfl/chinese-legal-electra-base-generator

hfl/chinese-legal-electra-small-discriminator

hfl/chinese-legal-electra-small-generator

效果评测

我们在罪名预测以及要素抽取任务上进行了基线测试。其中罪名预测任务使用的是CAIL 2018数据，要素抽取任务为in-house实际应用。可以看到本次发布的法律领域ELECTRA模型均相比通用ELECTRA模型获得了显著性能提升。

表1 罪名预测任务

表2 要素抽取任务

其他相关资源

• TextBrewer知识蒸馏工具

• • http://textbrewer.hfl-rc.com
    

• 中文BERT、RoBERTa、RBT系列模型

• • http://bert.hfl-rc.com

• 中文XLNet系列模型

• • http://xlnet.hfl-rc.com

• 中文MacBERT模型

• • http://macbert.hfl-rc.com

编辑：HFL编辑部

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家：

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析

整理不易，还望给个在看！