目前开源的大模型及github地址

以下是一些目前开源的大模型及其Github地址：

1. GPT-3: GPT-3是目前最著名和广泛使用的预训练语言模型之一。虽然GPT-3的代码没有开源，但许多基于GPT-3的模型和应用已经被开源。

2. BERT: BERT是一种双层编码器 transformer 模型，它在 NLP 任务上表现出了非常强大的性能。BERT 的代码已经在 Github 上开源。

   Github地址：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT

3. RoBERTa: RoBERTa 是在 BERT 的基础上进行改进的模型，它通过增加训练数据和改变训练策略来提高了性能。

   Github地址：https://github.com/pytorch/fairseq/tree/master/examples/roberta

4. XLNet: XLNet 是一种新的预训练语言模型，它通过使用全局的依赖关系来解决了 BERT 在长距离依赖关系上的问题。

   Github地址：GitHub - zihangdai/xlnet: XLNet: Generalized Autoregressive Pretraining for Language Understanding

5. T5: T5 是一种基于转换器的预训练语言模型，它在许多 NLP 任务上表现出了非常强大的性能。

   Github地址：GitHub - google-research/text-to-text-transfer-transformer: Code for the paper "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer"

6. DeBERTa: DeBERTa 是一种基于 BERT 的模型，它通过使用解码器来改进了 BERT 的性能。

   Github地址：GitHub - microsoft/DeBERTa: The implementation of DeBERTa

这些模型都是目前在 NLP 领域非常活跃的研究方向，并且已经在 Github 上开源。