大模型公开可用的模型检查点或 API

公开可用的模型检查点或 API

    众所周知，大模型预训练是一项对计算资源要求极高的任务。因此，经过预训练的公开模型检查点（Model Checkpoint）对于推动大语言模型技术的渐进式发展起到了至关重要的作用。得益于学术界和工业界的共同努力，目前开源社区已经积累了大量的模型检查点资源，用户可以根据自身研究或开发需求，灵活选择并下载使用这些检查点。此外，对于那些仅需利用模型进行解码生成的用户而言，商业公司提供的闭源模型的 API 接口也是一种便捷的选择。这些接口为用户提供了与模型进行交互的渠道，而无需关心模型内部的复杂结构和训练过程，即可快速获得生成结果，从而满足各种真实场景的应用需求。

    LLaMA 和 LLaMA-2，LLaMA是 Meta AI 在 2023 年 2 月发布的一系列大语言模型，有 7B、13B、30B 和 65B 四种参数规模版本，是当时性能非常优异的开源模型之一，直到目前也仍然被广泛使用与对比。其中，13B 参数的版本在部分自然语言处理基准测试中超越了具有 175B 参数的 GPT-3 模型。LLaMA 各个参数量版本都在超过 1T 词元的预训练语料上进行了训练，其中 65B 参数的模型版本在 2,048 张 80G 显存的 A100 GPU 上训练了近 21 天。由于对公众开放了模型权重且性能优秀，LLaMA 已经成为了最受欢迎的开源大语言模型之一，许多研究工作都是以其为基座模型进行微调或继续预训练，衍生出了众多变体模型，极大地推动了大语言模型领域的研究进展。2023 年 7 月，Meta AI 公开发布了 LLaMA-2，对第一代模型进行了综合升级。LLaMA-2 有 7B、13B、34B（未开源）和 70B 四种参数规模版本，并且可用于