#今日论文推荐#Meta AI开源OPT-175B：1750亿参数大模型

#今日论文推荐#重磅!Meta AI开源OPT-175B：1750亿参数大模型

有研究者表示这是将大型 LM 研究引入学术界的重大一步。用一句话总结就是：Meta AI 正在开放用于人工智能研究的大型语言模型访问权限，并表示这个具有 1750 亿参数的模型，是第一个可供更广泛的人工智能研究社区使用的模型。值得注意的是，OpenAI 提出的 GPT-3 也具有 1750 亿参数，不知道这一数字是巧合还是其他。
下面我们介绍一下这项研究的主要内容。
Meta AI 开放 1750 亿参数的模型
大型语言模型，即具有超过 1000 亿个参数的自然语言处理 (NLP) 系统，在过去几年中改变了 NLP 和 AI 研究。这些模型经过大量文本训练，在生成创意文本、解决数学问题、回答阅读理解等方面表现出令人惊讶的能力。
虽然在某些情况下，公众可以通过付费 API 与这些模型进行交互，但完整的研究访问权限仍然仅限于少数资源丰富的实验室。这种受限访问限制了研究人员理解这些大型语言模型如何以及为什么工作的能力，阻碍了提高其鲁棒性和减轻偏见等已知问题的进展。
根据 Meta AI 对开放科学的承诺，他们正在共享 Open Pretrained Transformer (OPT-175B)，这是一个具有 1750 亿参数的模型，在公共数据集上训练而成，之所以共享这个模型，Meta AI 希望更多的社区参与理解关于大模型的基本技术。

论文题目：OPT: Open Pre-trained Transformer Language Models
详细解读：https://www.aminer.cn/research_report/627326ed7cb68b460fb031f6?download=falsehttps://www.aminer.cn/research_report/627326ed7cb68b460fb031f6?download=false
AMiner链接：https://www.aminer.cn/?f=cs