plug-中文大模型

PLUG 中文大模型延续的是 PALM 的思路，结合 NLU 和 NLG 的任务，得到一个理解和生成同时做的模型。NLU 任务是我们自研的 StructBERT 模型，在 BERT的基础上引入三分类以及对词级别打乱。NLG 是 PALM 的自编码自回归结合。训练分为两个阶段，第一阶段是 StructBERT 的思路，把模型大小提升。第二阶段延续 PALM 的思路，用 encoder 做初始化，加上 decoder 之后做生成的训练。这样可以得到一个 Encoder-Decoder 统一理解生成模型。做理解相关任务，比如分类/预测时，只需要把 encoder 部分拿出来，沿用 BERT 的方法。做生成相关任务时，再使用全部的 Encoder-Decoder 架构。这里也做了一些推理加速的工作，和中文 GPT 是相同的技术，获得了 10x 加速的效果。

 

 

270 亿参数的 PLUG 模型已经在 ModelScope 上开放，大家可以按照流程申请获取下载链接，然后使用 Pipel