中文Transformer（BERT，GPT，T5等）预训练模型权重

中文Transformer预训练模型权重

最近业余时间把我们去年和今年之前训练的基于开源语料的预训练权重适配到了Huggingface model hub中。用户可以通过Huggingface Transformers项目代码或者Huggingface网站上提供的在线推理接口轻易的使用这些权重。

这些权重有如下特点：

1. 可复现；我们在huggingface上开源的所有权重，均是使用公开的语料进行训练的，并且我们在huggingface模型权重的readme中给出了详细的训练过程的说明，用户如果有足够的算力可以轻易的复现。我们认为这些权重可以作为一个可靠的中文基准。
2. 模型质量较好；我们通过定量和定性的方式对这些预训练权重进行了评估。这些预训练权重有着比较有竞争力的表现。
3. 类型丰富；我们提供了各种类型的预训练权重，后面会具体介绍。
4. 所有的权重均使用 UER-py 预训练得到，然后通过转换脚本进行转换，用Huggingface Transformers进行加载推理。这套流程在我们的实践中用起来比较可靠和舒服。当然UER项目内部也提供了比较完善的微调推理相关的脚本，欢迎大家使用。

这里对我们目前开源的权重进行简要的描述：
1 我们借鉴Google在英文上的工作，预训练24个不同大小的RoBERTa权重：

https://huggingface.co/uer/chinese_roberta_L-2_H-128