盘点十大开源大模型

大模型时代,开源与闭源模型不断涌现,构成了大模型领域的双重引擎。开源大模型为AI领域注入了新的活力,基于开源大模型的应用如雨后春笋般出现,同时也为研究者和开发者提供了更广阔的创新空间。

在此,我们梳理了当前开源大模型的部分论文和开源代码,让我们共同探寻这些令人振奋的进展。

Llama 2

  • 论文:Llama 2: Open Foundation and Fine-Tuned Chat Models

  • 开源: https://github.com/meta-llama/llama

  • 机构: Meta AI

Llama 2 是一系列预训练和微调的大型语言模型,参数规模从70亿到700亿不等。 其中,特别推出了经过优化用于对话场景的微调模型,称为Llama 2-Chat。

这些模型在测试的大多数基准测试中均胜过开源对话模型,在用户评估中获得了良好的帮助性和安全性评分,有可能成为封闭源模型的合适替代品。

图片

CodeGeeX

  • 论文:CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X

  • 开源: https://github.com/THUDM/CodeGeeX

  • 机构: 清华大学、智谱AI、华为

CodeGeeX,是一个拥有130亿参数的多语言代码生成模型。 它的优势在于能够生成语法和功能正确的代码,极大地提高了程序员的编码效率,并使我们对人工智能的普适性更加接近。

CodeGeeX在2022年6月基于230亿token的23种编程语言进行了预训练。大量实验证明,CodeGeeX在HumanEval-X上的表现优于规模相似的多语言代码模型,无论是在代码生成还是翻译任务上。

图片

MiniGPT-4

  • 论文:MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models

  • 开源: https://minigpt-4.github.io/

  • 机构: King Abdullah University of Science and Technology

MiniGPT-4结合了一个冻结的视觉编码器和一个冻结的大型语言模型Vicuna,仅使用一个投影层。 MiniGPT-4展现出类似于GPT-4的多种能力,比如生成详细的图像描述,从手写草稿创建网站等。

此外,MiniGPT-4还展示了其他新兴的能力,包括根据给定图像创作故事和诗歌,为图像中展示的问题提供解决方案,根据食物照片教用户如何烹饪等。

图片

OPT

  • 论文:OPT: Open Pre-trained Transformer Language Models

  • 开源: https://github.com/facebookresearch/metaseq

  • 机构: Meta AI

OPT是一系列仅包含解码器的预训练transformers模型,参数范围从125M到175B。 这些模型在零样本学习和少样本学习方面展现出卓越的能力。

与其他大型语言模型相比,OPT模型具有重要优势:首先,这些模型的训练成本较低,仅需1/7的碳足迹即可达到类似GPT-3的性能水平;其次,OPT模型的权重可完全和负责任地与感兴趣的研究人员共享,这为研究者提供了更多研究和实验的机会。

图片

CPM

  • 论文:CPM: A Large-scale Generative Chinese Pre-trained Language Model

  • 开源: https://github.com/TsinghuaAI/CPM-1-Generate

  • 机构: 清华大学

CPM是中文预训练语言模型。CPM由26亿参数和100GB中文训练数据组成,是目前为止最大的中文预训练语言模型之一。 它采用了大规模中文训练数据进行生成式预训练,旨在为多项下游中文自然语言处理任务提供支持。

相较于其他模型,CPM专注于中文训练数据,因此在处理中文自然语言处理任务时更为得心应手。

图片

CPM-2

  • 论文:CPM-2: Large-scale cost-effective pre-trained language models

  • 开源: https://github.com/TsinghuaAI/CPM

  • 机构: 清华大学

CPM-2是一个基于大规模预训练语言模型(PLMs)的成本效益技术套件。 它通过一系列技术来解决PLMs的效率问题,包括知识继承、提示微调和推理工具包infmoe。

首先,利用知识继承加速预训练过程,利用现有的PLMs而不是从头开始训练模型。其次,探索了大规模PLMs的提示微调最佳实践,显著减少了任务特定参数的数量。最后,实现了一个新的推理工具包infmoe,用于在有限的计算资源下使用大规模PLMs。

图片

CodeGen

  • 论文:CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis

  • 代码: https://github.com/salesforce/CodeGen

  • 机构: University of California & Salesforce

CodeGen是一个由自然语言和编程语言数据训练而成的大型语言模型系列,拥有高达16.1B个参数。 CodeGen的优势在于能够通过输入-输出示例或自然语言描述来生成计算机程序,这是程序合成的重要应用。

相较于先前的技术,CodeGen展示出在零样本Python代码生成上与现有最先进技术相媲美的实力,这归功于其在人类评估上的表现。

图片

BLOOM

  • 论文:BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

  • 开源: https://huggingface.co/bigscience/bloom

BLOOM是一个拥有1760亿参数的开放获取语言模型。 BLOOM由数百名研究人员合作设计和构建,是一个仅包含解码器的Transformer语言模型。

它在ROOTS语料库上进行训练,该语料库包含46种自然语言和13种编程语言的数百个来源(总共59种语言)。BLOOM在各种基准测试中表现出色,经过多任务提示微调后的结果更加强大。

图片

GLM-130B

  • 论文:GLM-130B: An Open Bilingual Pre-trained Model

  • 开源: https://github.com/THUDM/GLM-130B

  • 机构: 清华大学

GLM-130B是一个拥有1300亿参数的双语(英文和中文)预训练语言模型。

该模型旨在开源一个至少与GPT-3一样出色的1000亿规模模型,并揭示这种规模的模型如何成功地进行预训练。

图片

mT5

  • 论文:mT5: A massively multilingual pre-trained text-to-text transformer

  • 开源: http://goo.gle/mt5-code

  • 机构: Google

mT5是T5的多语言变体, 采用了统一的text-text格式和大规模训练,通过在覆盖101种语言的新Common Crawl数据集上进行预训练。

mT5的设计和修改训练方法在论文中有详细描述,展示了在许多多语言基准任务上的最先进表现。

图片

  • 25
    点赞
  • 45
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhiaoo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值