AI周报丨DeepMind用2800亿参数的Gopher，测试语言系统极限；Julia还是Python？PyTorch选择谁？

# 行业大事件

增大模型依然有用，DeepMind用2800亿参数的Gopher，测试语言系统极限

DeepMind 连发三篇论文，全面阐述大规模语言模型依然在进展之中，能力也在继续增强。

近年来，国内外各大 AI 巨头的大规模语言模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研究院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。

然而，当前语言模型存在着一些问题，比如逻辑推理较弱。那么，我们是否可以仅通过添加更多数据和算力的情况下改进这些问题呢？或者，我们已经达到了语言模型相关技术范式的极限？

今日，DeepMind「一口气」发表了三篇论文，目的之一就是解决当前语言模型存在的问题。DeepMind 得出的结论是进一步扩展大规模语言模型应该会带来大量的改进。此前在一次电话简报会上，DeepMind 研究科学家 Jack Rae 表示，「这些论文的一个关键发现是大规模语言模型依然在进展之中，能力也在继续增强。这个领域并没有停滞不前。」

博客地址：https://deepmind.com/blog/article/language-modelling-at-scale

这三篇论文的主题分别如下：