编 | 小舟、陈萍
源 | 机器之心
Meta AI 提出了一个可以总结学术文献,解决数学问题的新模型,该模型还能生成百科文章,编写科学代码,注释分子和蛋白质等等。
近年来,随着各学科领域研究的进步,科学文献和数据呈爆炸式增长,使学术研究者从大量信息中发现有用的见解变得越来越困难。通常,人们借助搜索引擎来获取科学知识,但搜索引擎不能自主组织科学知识。
现在,来自 Meta AI 的研究团队提出了一种新的大型语言模型 Galactica,可以存储、组合和推理科学知识。
![a3ed29ea6357203cfe0ada217978b6c7.png](https://i-blog.csdnimg.cn/blog_migrate/6212c9be75a9168453a7f75a13f9dfb3.png)
论文地址:
https://galactica.org/static/paper.pdf
试用地址:
https://galactica.org/
Galactica 模型有多强大呢,它可以自己总结归纳出一篇综述论文:
![9b7afdb482b472a344540a146e918331.png](https://i-blog.csdnimg.cn/blog_migrate/c56a532ec6e350d224b8c59c9cb5d45e.png)
也可以生成词条的百科查询:
![ce1c9b97fabebed394b0430ce5b7fe44.png](https://i-blog.csdnimg.cn/blog_migrate/ac0f983e9ed9f152c1f6538bf497bb9b.png)
对所提问题作出知识性的回答:
![18c6b3e2b1a62fa7ec8220dc9b707759.png](https://i-blog.csdnimg.cn/blog_migrate/2ea2670bae0252c4f25777aa626977ec.png)
这些任务对于人类学者来说尚且是具有挑战性的任务,但 Galactica 却很好地完成了。图灵奖得主 Yann LeCun 也在推特上发文称赞:
![abf7636538dbf21b86fc74f4a52f6232.png](https://i-blog.csdnimg.cn/blog_migrate/a4b6c31370d156d1687165e7ed491c18.png)
我们来看一下 Galactica 模型的具体细节。
模型概述
Galactica 模型是在大量的论文、参考资料、知识库和许多其他来源的科学语料库上进行训练的,包括超过 4800 万篇论文、教科书和讲义、数百万种化合物和蛋白质知识、科学网站、百科全书等。与依赖于未经整理的、基于网络爬虫文本的现有语言模型不同,Galactica 训练所用的语料库是高质量且经过高度整理的。该研究在不过拟合的前提下对模型进行多个 epoch 的训练,其中在上游和下游任务上的性能通过使用重复的 token 得到改善。
Galactica 的性能在一系列科学任务上优于现有模型。在 LaTeX 方程式等技术知识的探索任务上,Galactica 与 GPT-3 的性能是 68.2% VS 49.0%。Galactica 在推理方面也表现出色,在数学 MMLU 基准上的表现显著优于 Chinchilla。
尽管没有接受过通用语料库的训练,Galactica 在 BIG-bench 上的性能也优于 BLOOM 和 OPT-175B。此外,它还在 PubMedQA 和 MedMCQA 开发等下游任务上创下了 77.6% 和 52.9% 的性能新高。
简单来说,该研究将逐步推理封装在特殊的 token 中,以模仿内部工作原理。这允许研究人员使用自然语言与模型进行交互,下图是 Galactica 的试用界面。
![9211877bf78f7648cfc62cbc2a5582e0.png](https://i-blog.csdnimg.cn/blog_migrate/f8aff38460d2e2157a8d5640a6888e84.png)
值得一提的是,除了文本生成,Galactica 还可以执行涉及化学公式和蛋白质序列的多模态任务。这将为药物发现领域做出贡献。
实现细节
本文的语料库包含 1060 亿个 token,这些 token 来自论文、参考文献、百科全书以及其他科学资料。可以说该研究将自然语言资源(论文、参考书)与自然界中的序列(蛋白质序列、化学形式)都囊括了。表 1 和表 2 中显示了语料库的细节。
![6a7e9be3a9adde756eca9f3f67e65b6a.png](https://i-blog.csdnimg.cn/blog_migrate/afa55c00159a92a5d91d4d84cf772416.png)
语料库有了,接下来是对数据怎么操作。一般来讲,对 tokenization 的设计是非常重要的。例如,蛋白质序列是根据氨基酸残基来编写的,那么基于字符的 tokenization 是合适的。为了实现 tokenization,该研究对不同的模态进行了专门的 token 化。具体表现在(包括但不仅限于):
引用:用特殊的参考 token[START_REF]和 [END_REF] 来包装引用;
逐步推理:用 working memory token 来封装逐步推理,模拟内部 working memory 上下文;
数字:把数字分成单独的 token。例如, 737612.62 → 7,3,7,6,1,2,.,6,2;
SMILES 公式:用 [START_SMILES] 和[END_SMILES]包装序列,并应用基于字符的 tokenization。同样,该研究使用 [START_I_SMILES] 和[END_I_SMILES]来表示异构体 SMILES。例如:C(C(=O)O)N→C,(,C,(,=,O,),O,),N;
DNA 序列:应用一种基于字符的 tokenization,将每个核苷酸碱基视为一个 token,其中起始 token 为 [START_DNA] 和[END_DNA]。例如,CGGTACCCTC→C, G, G, T, A, C, C, C, T, C。
如下图 4 显示了对一篇论文的引用进行处理的示例。在处理引用时使用全局标识符和特殊 token[START_REF]和 [END_REF] 来表示引用的地方。
![783c1f73ac243f7bfd223c9878319ae1.png](https://i-blog.csdnimg.cn/blog_migrate/52a0298f5d3e78e0b504fdc29ba23620.png)
数据集处理好之后,接下来就是怎么实现。Galactica 在 Transformer 架构的基础上进行了以下修改:
GeLU 激活:将 GeLU 激活用于各种大小的模型;
上下文窗口:对于不同大小的模型,使用 2048 长度的上下文窗口;
无偏置:遵循 PaLM,在密集内核或层规范中不使用偏置;
学习位置嵌入:学习位置嵌入用于模型;
词汇表:使用 BPE 构建一个包含 50k token 的词汇表。
表 5 列出了不同大小模型以及训练超参数。
![f20f1e410cfbcdb2a03c589e2f440650.png](https://i-blog.csdnimg.cn/blog_migrate/a40f1e76b482e999984389a859c741da.png)
实验
重复的 token 被认为是无害的
从图 6 可以看出,在经过四个 epoch 的训练之后,验证损失继续下降。拥有 120B 参数的模型在第五个 epoch 开始时才开始过拟合。这是出乎意料的,因为现有的研究表明重复的 token 可能对性能有害。该研究还发现,30B 和 120B 的模型在 epoch-wise 后表现出双下降效应,即验证损失达到平稳(或上升),然后是下降。这种效果在每个 epoch 后都变得更强,最明显的是 120B 模型在训练结束时。
![2a8c5de4990881d1e7f928508d0ff954.png](https://i-blog.csdnimg.cn/blog_migrate/88429379432fb6b5674059d7a7c0336b.png)
图 8 结果显示实验没有出现过拟合迹象,这表明重复 token 能够提高下游和上游任务性能。
![698940b14894db9d2561de40ed8710b7.png](https://i-blog.csdnimg.cn/blog_migrate/0ceec1d60498ec78b2ce0e73e71a66f6.png)
其他结果
键入公式太慢了,现在用提示就能生成 LaTeX:
![40272234adbc42a2bd8bbc5979bd4f66.png](https://i-blog.csdnimg.cn/blog_migrate/4bb89715cde4f744cc9803cfc42a26f9.png)
在化学反应中,要求 Galactica 在化学方程 LaTeX 中预测反应的产物,模型仅根据反应物就能进行推理,结果如下:
![e0033c629f14cde3c185ec89bf5ff983.png](https://i-blog.csdnimg.cn/blog_migrate/c64a9b42d32d6c37cbc8df48dae930f5.png)
表 7 中报告了一些其他结果:
![30ffd49d4603bfbd058a6bbdbe29f98d.png](https://i-blog.csdnimg.cn/blog_migrate/8cbd780694f23bf5b6e159a6aa8bfc91.png)
Galactica 的推理能力。该研究首先在 MMLU mathematics 基准上进行评估,并在表 8 中报告了评估结果。Galactica 与较大的基础模型相比表现强劲,并且使用 token 似乎可以提高 Chinchilla 的性能,即使对于较小的 30B Galactica 模型也是如此。
![b75dedb91e5c23cb9b9e0639691ed302.png](https://i-blog.csdnimg.cn/blog_migrate/f6229613dfd1abfab4fe491a2eb9060d.png)
该研究还对 MATH 数据集进行了评估,以进一步探索 Galactica 的推理能力:
![0bbe8b42f7e5edf245d5ed21e814fe5f.png](https://i-blog.csdnimg.cn/blog_migrate/86bafb3ced8d2b79b5175dae7842916e.png)
从实验结果可以得出:Galactica 在思维链和提示方面都大大优于基础 PaLM 模型。这表明 Galactica 在处理数学任务上是个更好的选择。
在下游任务的评估结果如表 10 所示。Galactica 显着优于其他语言模型,并且在大多数任务中优于更大的模型(Gopher 280B)。与 Chinchilla 相比,性能表现差异更大,Chinchilla 在子集任务上似乎更强:特别是高中科目以及数学较少、记忆密集型任务。相比之下,Galactica 往往在数学和研究生水平的任务中表现更好。
![0e35ebba7fd04dccdf0e3b294566a191.png](https://i-blog.csdnimg.cn/blog_migrate/bac56a07cb86771afeb62fa587ee870d.png)
该研究还评估了 Chinchilla 在给定输入上下文的情况下预测引用的能力,这是对 Chinchilla 组织科学文献能力的一个重要测试。结果如下:
![c198139a3d684f3c3829f674ad8a40df.png](https://i-blog.csdnimg.cn/blog_migrate/01ff5a5ec298efb7af22b7599d536104.png)
更多实验内容,请参考原论文。
后台回复关键词【入群】
加入卖萌屋NLP、CV、搜推广与求职讨论群