EleutherAI 团队开源了 GPT-3 复制品 GPT-neo，目标是打造与 GPT-3 参数相当但开源的语言模型。该项目基于 transformer 架构，使用了名为 Pile 的大规模数据集进行预训练，并提供了不同的模型结构。尽管目前缺乏足够的 TPU 进行最大规模的训练，但团队计划逐步发布不同规模的模型。GPT-neo 是 MIT 协议的开源软件，其模型许可类型尚未确定。
马斯克抱怨 GPT-3 不够 Open，开源的语言模型库来了你要不要学？
【编者按】一个名叫 EleutherAI 的团队开源了语言模型代码库 GPT-neo，利用 mesh-tensorflow 库扩展到完整的 GPT-3 尺寸，官方预计可能会更大，不过该模型的名字还没完全确定，或许叫 GPT-hahaha 也说不好。项目创立于 2020 年 7 月，最初是打算做一个 GPT-2 的复刻版，后来就打算做一个寨版 GPT-3 还一度遇到了 TPU 不够的情况。关注项目的热心网友 cue 了一下马斯克，称这个项目可以改名字叫做 realOpenAI。
作者 | 八宝粥
出品 | CSDN(id：CSDNnews)
工欲善其事，必先利其器，要搞大模型，先有大数据。
所以项目先是完成了一个语料库数据仓库——Pile，数据大小为 835 GB，通过 22 个小型数据库的组合，可以保证有效的泛化能力。团队希望能够和 GPT-3 相同的参数下表现出相当的性能，未来可能还会降低参数的数量级来减轻重量。高端的数据集，往往只需要最简单的烹饪方式
最低0.47元/天 解锁文章
2564
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
