-
GPT-3:由OpenAI团队开发,是最先进、规模最大、能力最强的预训练语言模型之一。网址:https://openai.com/api/
-
BERT:Google团队开发,是一种支持深度双向Transformer编码器的预训练语言模型。网址:https://github.com/google-research/bert
-
GPT-2:同样来自OpenAI团队,也是一种高效的预训练语言模型。网址:https://openai.com/blog/tags/gpt-2/
-
XLNet:由CMU、Google Brain和Carnegie Mellon University共同开发,是一种更为通用和灵活的预训练语言模型。网址:https://github.com/zihangdai/xlnet
-
RoBERTa:由Facebook AI Research(FAIR)开发,并基于BERT进行了多项优化。网址:https://github.com/pytorch/fairseq/tree/master/examples/roberta
-
ALBERT: 由Google开发,拥有比BERT减少了10倍以上的参数数量。网址:https://github.com/google-research/albert
-
T5: 由谷歌(Google)AI团队推出,使用Transformer 编码器-解码器结构,可执行一系列文本处理任务。网址:https://github.com/google-research/text-to-text-transfer-transformer
-
GShard:由Google于2021年提出,是一种分布式的预训练语言模型框架。网址:https://github.com/google-research/gshard
-
Megatron:由NVIDIA开发的高效分布式语言模型训练框架。网址:https://github.com/NVIDIA/Megatron-LM
-
GPTneo:由EleutherAI推出,拥有更快速、更易用的代码库。网址:https://github.com/EleutherAI/GPTNeo
最新10个开源预训练语言模型
最新推荐文章于 2024-07-23 16:47:12 发布