盘点十大开源大模型

最新推荐文章于 2024-09-21 18:12:14 发布

中年猿人

最新推荐文章于 2024-09-21 18:12:14 发布

阅读量2.4k

点赞数 25

文章标签：开源学习人工智能 ai

本文链接：https://blog.csdn.net/2301_76161259/article/details/138345484

版权

大模型时代，开源与闭源模型不断涌现，构成了大模型领域的双重引擎。开源大模型为AI领域注入了新的活力，基于开源大模型的应用如雨后春笋般出现，同时也为研究者和开发者提供了更广阔的创新空间。

在此，我们梳理了当前开源大模型的部分论文和开源代码，让我们共同探寻这些令人振奋的进展。

Llama 2

论文：Llama 2: Open Foundation and Fine-Tuned Chat Models

开源： https://github.com/meta-llama/llama

机构： Meta AI

Llama 2 是一系列预训练和微调的大型语言模型，参数规模从70亿到700亿不等。 其中，特别推出了经过优化用于对话场景的微调模型，称为Llama 2-Chat。

这些模型在测试的大多数基准测试中均胜过开源对话模型，在用户评估中获得了良好的帮助性和安全性评分，有可能成为封闭源模型的合适替代品。

CodeGeeX

**论文：**CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X

开源： https://github.com/THUDM/CodeGeeX

机构： 清华大学、智谱AI、华为

CodeGeeX，是一个拥有130亿参数的多语言代码生成模型。 它的优势在于能够生成语法和功能正确的代码，极大地提高了程序员的编码效率，并使我们对人工智能的普适性更加接近。

CodeGeeX在2022年6月基于230亿token的23种编程语言进行了预训练。大量实验证明，CodeGeeX在HumanEval-X上的表现优于规模相似的多语言代码模型，无论是在代码生成还是翻译任务上。

MiniGPT-4

**论文：**MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models

开源： https://minigpt-4.github.io/

机构： King Abdullah University of Science and Technology

MiniGPT-4结合了一个冻结的视觉编码器和一个冻结的大型语言模型Vicuna，仅使用一个投影层。 MiniGPT-4展现出类似于GPT-4的多种能力，比如生成详细的图像描述，从手写草稿创建网站等。

此外，MiniGPT-4还展示了其他新兴的能力，包括根据给定图像创作故事和诗歌，为图像中展示的问题提供解决方案，根据食物照片教用户如何烹饪等。

OPT

论文：OPT: Open Pre-trained Transformer Language Models

开源： https://github.com/facebookresearch/metaseq

机构： Meta AI

OPT是一系列仅包含解码器的预训练transformers模型，参数范围从125M到175B。 这些模型在零样本学习和少样本学习方面展现出卓越的能力。

与其他大型语言模型相比，OPT模型具有重要优势：首先，这些模型的训练成本较低，仅需1/7的碳足迹即可达到类似GPT-3的性能水平；其次，OPT模型的权重可完全和负责任地与感兴趣的研究人员共享，这为研究者提供了更多研究和实验的机会。

CPM

论文：CPM: A Large-scale Generative Chinese Pre-trained Language Model

开源： https://github.com/TsinghuaAI/CPM-1-Generate

机构： 清华大学

CPM是中文预训练语言模型。CPM由26亿参数和100GB中文训练数据组成，是目前为止最大的中文预训练语言模型之一。 它采用了大规模中文训练数据进行生成式预训练，旨在为多项下游中文自然语言处理任务提供支持。

相较于其他模型，CPM专注于中文训练数据，因此在处理中文自然语言处理任务时更为得心应手。

CPM-2

论文：CPM-2: Large-scale cost-effective pre-trained language models

开源： https://github.com/TsinghuaAI/CPM

机构： 清华大学

CPM-2是一个基于大规模预训练语言模型（PLMs）的成本效益技术套件。 它通过一系列技术来解决PLMs的效率问题，包括知识继承、提示微调和推理工具包infmoe。

首先，利用知识继承加速预训练过程，利用现有的PLMs而不是从头开始训练模型。其次，探索了大规模PLMs的提示微调最佳实践，显著减少了任务特定参数的数量。最后，实现了一个新的推理工具包infmoe，用于在有限的计算资源下使用大规模PLMs。

CodeGen

论文：CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis

代码： https://github.com/salesforce/CodeGen

机构： University of California & Salesforce

CodeGen是一个由自然语言和编程语言数据训练而成的大型语言模型系列，拥有高达16.1B个参数。 CodeGen的优势在于能够通过输入-输出示例或自然语言描述来生成计算机程序，这是程序合成的重要应用。

相较于先前的技术，CodeGen展示出在零样本Python代码生成上与现有最先进技术相媲美的实力，这归功于其在人类评估上的表现。