Google DeepMind首席执行官Demis Hassabis访谈录

人工智能伴随着挑战和问题，尤其是有一个巨大的组织结构图移动和一系列高风险的决定要做。我很高兴你在这里。

让我们从Google DeepMind本身开始。Google DeepMind是谷歌的一个新部分，由谷歌的两个现有部分组成。有谷歌大脑，这是我们熟悉的人工智能团队，因为我们报道了由杰夫·迪恩运营的谷歌。还有DeepMind，这是你创立的公司。你在2014年把它卖给了Alphabet。你在谷歌之外。直到刚才，它还是在控股公司Alphabet结构中作为一家独立的公司运营。从头开始。为什么DeepMind和Google Brain一开始就分开了？

正如你提到的，我们早在2010年就启动了DeepMind，特别是在人工智能时代。所以这有点像史前史。我和联合创始人，我们意识到来自学术界，看到那里发生了什么，像深度学习这样的东西刚刚被发明出来。我们是强化学习的大力支持者。我们可以看到GPU和其他硬件正在上线，通过专注于一般学习系统，以及从神经科学和大脑如何工作中获得一些想法，可以取得许多巨大的进展。因此，我们在2010年将所有这些成分放在一起。我们有这个论文，我们会快速进步，这就是我们最初的游戏系统所发生的事情。然后，我们在2014年决定与谷歌联手，因为我们可以看到需要更多的计算。显然，谷歌拥有最多的计算机，也拥有最多的计算机。对我们来说，这显然是能够专注于尽快推动研究的家。

所以你被谷歌收购了，然后一路上，谷歌重新定位了自己。他们变成了Alphabet，谷歌成为Alphabet的一个分支。Alphabet还有其他部门，DeepMind退出了。这只是我一开始想关注的部分，因为谷歌正在用谷歌大脑做什么，这是大量的大模型研究。我记得，六年前，谷歌在谷歌I/O上炫耀大模型，但DeepMind专注于赢得游戏[Go]和蛋白质折叠，这是一种完全在谷歌之外的非常不同的人工智能研究。为什么那是在谷歌之外？为什么在字母表中是正确的？

我认为，如果你从我整个童年，从四岁起就认真地玩像国际象棋这样的游戏——有效地进行专业性地玩，我认为这对你的大脑来说是非常有形成性的。因此，我认为，在国际象棋、解决问题和制定战略方面，我发现它是许多事情和决策的一个非常有用的框架。国际象棋基本上是在对手的压力下做出决策，它非常复杂，我认为这是一件伟大的事情。我提倡在学校教授它，这是学校课程的一部分，因为我认为这是一个解决问题和决策的绝佳培训场所。但是，我认为实际上总体方法更多的是科学方法。

因此，我认为我所有的培训都是做博士和博士后等等，显然我在神经科学方面做了，所以我正在学习大脑，但它也教会了我如何进行严格的假设测试和假设生成，然后根据经验证据进行更新。整个科学方法以及国际象棋规划，都可以转化为商业领域。你必须聪明地知道如何翻译它，你不能对这些事情有学术性的。通常，在现实世界中，在商业中，有很多你不知道的不确定性和隐藏的信息。所以，在国际象棋中，显然所有的信息都在棋盘上。你不能直接翻译这些技能，但我认为，在后台，如果以正确的方式应用，它们会非常有帮助。

在你做出的一些决定中，你如何将这两者结合起来？

我每天都会做出很多决定，现在很难想出一个。但我倾向于尝试提前很多年计划和计划。所以我告诉你，我试图处理事情的方式是，我有一个最终目标。我很擅长想象事物，所以这是一种不同的技能，可视化或想象一个完美的最终状态会是什么样子，无论是组织状态还是基于产品还是基于研究。然后，我从终点开始工作，然后弄清楚需要采取哪些步骤，以及以什么顺序使结果尽可能可能。

所以这有点像国际象棋，对吗？从某种意义上说，你有一些计划，你想让你的对手将死，但你离那还有许多步之遥法。那么，为了增加最终结果的可能性，一个人必须做些什么来改善你的地位呢？我发现从最终目标回到你发现自己所处的当前状态进行搜索过程非常有用。

让我们把它放在一些产品旁边。你说有很多DeepMind技术和很多谷歌产品。我们都可以看看的是巴德，然后是你的搜索生成体验。谷歌照片和所有这些东西中都有人工智能，但专注于大模型时刻，它是巴德和搜索生成体验。那些不可能是最终状态。他们还没有完成。双子座来了，我们可能会改进这两者，所有这些都会发生。当你想到这些产品的最终状态时，你看到了什么？

谷歌周围的人工智能系统不仅在面向消费者的事物中，而且在您可能没有意识到的引擎盖下。因此，即使，例如，我们最初将人工智能系统应用于的事情之一是谷歌数据中心的冷却系统，巨大的数据中心，实际上将冷却系统使用的能源减少了近30%，如果你将其乘以他们那里的所有数据中心和计算机，这显然是巨大的。因此，实际上有很多事情一直在使用人工智能来提高这些系统的效率。但你是对的，目前的产品不是最终状态；它们实际上只是航点。就聊天机器人和这类系统而言，最终，它们将成为这些令人难以置信的通用个人助理，您在一天中多次使用，在您的日常生活中提供真正有用和有用的东西。

从阅读什么书到现场活动的建议，再到预订旅行，再到为您计划旅行，以协助您完成日常工作。我认为我们离目前的聊天机器人还很远，我认为我们知道缺少什么：计划、推理和记忆等事情，我们正在努力做这些事情。我认为，也许几年后你会看到的是，与我认为未来几年会发生什么相比，今天的聊天机器人将看起来微不足道。

我的背景是一个在电脑上被报道的人。我认为计算机有点模块化的系统。你看看一部手机——它有一个屏幕，它有一个芯片，它有一个蜂窝天线，不管怎样。我是否应该这样看待人工智能系统——有一个LLM，这是一个非常令人信服的人类语言界面，它背后可能是实际上在做蛋白质折叠的AlphaFold？这就是你考虑将这些东西缝合在一起的方式，还是一条不同的进化路径？

实际上，有一整个研究分支正在研究所谓的工具使用。想法是，这些大型语言模型或大型多模态模型，当然，他们是语言专家，也许还有其他一些功能，如数学和可能的编码。但是，当你要求他们做一些专门的事情时，比如折叠蛋白质或下棋或类似的事情，那么实际上他们最终所做的是调用一个工具，这可能是另一个人工智能系统，然后为这个特定问题提供解决方案或答案。然后通过语言或通过中央大型语言模型系统以图形方式传输回给用户。因此，它实际上对用户来说是看不见的，因为对用户来说，它看起来就像一个具有许多功能的大型人工智能系统，但在引擎盖下，实际上人工智能系统可能被分解成具有专业化的小型系统。

实际上，我认为这可能会是下一个时代。下一代系统将使用这些功能。然后，您可以将中央系统视为几乎一个切换语句，您用语言有效地提示它，它将您的查询或问题或任何您要求它用于正确的工具，以为您解决该问题或为您提供解决方案。然后以一种非常可理解的方式将其传回。同样，通过界面使用，确实是自然语言的最佳界面。

这个过程会让你更接近AGI，还是让你达到某种最大状态，你必须做别的事情？

我认为这是通往AGI的关键道路，这是另一个原因，顺便说一下，我对这个新角色感到非常兴奋，实际上做了更多的产品和事情，因为我实际上认为从这里开始的产品路线图和从这里到AGI或人类级人工智能的研究路线图是非常互补的。为了构建那些在日常生活中有用的产品，需要推动各种功能，就像通用助理一样，需要推动其中一些功能，如规划、记忆和推理，我认为这些功能对我们进入AGI至关重要。因此，我实际上认为现在产品和研究之间有一个非常整洁的反馈循环，他们可以有效地相互帮助。

我觉得在节目开始时，我有很多汽车首席执行官。我问他们所有人：“你认为我们什么时候能买到自动驾驶汽车？”他们都说五年，他们已经说五年了，对吗？

是的。

我要问你一个关于AGI的问题，但我觉得最近与我交谈过的人的数量变少了。你认为我们拥有AGI还有多少年？

我认为，与扩大现有解决方案相比，还需要多少突破才能实现AGI，大而大的突破——创新的突破——有很多不确定性。我认为这在很大程度上取决于时间框架。显然，如果仍然需要很多突破，这些突破要难得多，而且需要更长的时间。但现在，如果我们在未来十年接触到类似AGI或AGI的东西，我不会感到惊讶。

在接下来的十年里。好吧，我10年后会回到你身边。我们会看看是否会发生这种情况。

当然。

不过，那不是一条直线。你称它为关键路径，那不是一条直线。你认为，沿途有一些突破可能会打乱火车，让你走上一条不同的道路。

研究从来都不是一条直线。如果是这样，那么它就不是真正的研究。如果你在开始之前就知道答案，那么这不是研究。因此，前沿的研究和蓝天研究总是有不确定性，这就是为什么你无法真正肯定地预测时间线。但你可以看看的是趋势，我们可以看看今天正在研究的想法和项目的质量，看看它们是如何进展的。我认为，在接下来的五到十年里，我们可能会渐近，我们可能会用当前的技术和缩放撞上砖墙。如果发生这种情况，我也不会感到惊讶：我们可能会发现，仅仅扩展现有系统就会导致系统性能的回报下降。

实际上，这将表明确实需要一些新的创新来取得进一步的进展。目前，我想没有人知道我们处于哪个政权。所以答案是，你必须尽可能地推动两者。因此，无论是现有系统和现有想法的扩展和工程，还是对探索性研究方向的大量投资，您认为这些方向可能会带来创新，从而解决当前系统中的一些弱点。作为一个拥有大量资源的大型研究组织，这是一个优势，我们可以最大限度地押注于这两件事，这两个方向。在某种程度上，我对“我们需要更多的突破，还是现有系统会一直扩展？”这个问题是不可知论者。我的观点是，这是一个实证问题，人们应该尽可能地推动两者。然后结果将不言自明。

当你在Alphabet的DeepMind时，你非常专注于研究，然后研究被移回谷歌，谷歌的工程师会把它变成产品。你可以看到那段关系是如何运作的。现在，你在谷歌里面。作为一家公司，谷歌面临着赢得这场战斗的巨大压力。这些都是产品问题。这些是“让人们成为现实，并在市场上获胜”。有一份泄露的备忘录四处走动。据称它来自谷歌内部。它表示，该公司没有护城河，开源人工智能模型或泄露的模型将在人们的笔记本电脑上运行，它们将超过该公司，因为开放计算的历史将超过闭源竞争对手。那份备忘录是真的吗？

我认为那份备忘录是真的。我认为谷歌的工程师经常写各种文档，有时它们会泄露并走红。我认为这只是一件正在发生的事情，但我不会太当真。这些只是意见。我认为听他们很有趣，然后你必须制定自己的路线。我没有详细阅读那份具体的备忘录，但我不同意其中的结论。我认为显然有开源和出版，在DeepMind的历史上，我们已经做了很多。我的意思是，AlphaFold是开源的，对吗？因此，我们显然相信开源和支持研究和开放研究。这是科学话语的关键，我们一直参与其中。当然，谷歌也是如此，发布变压器和其他东西。TensorFlow和你看我们所做的一切。

我们在那个空间里做了大量的工作。但我也认为还需要考虑其他因素。显然是商业问题，但也有关于访问这些非常强大的系统的安全问题。如果坏演员可以访问它呢？谁可能不是那么技术性的，所以他们不可能自己建造它，但他们当然可以重新配置一个系统？你对那些事情做什么？我认为到目前为止，这一直是相当理论性的，但我认为从这里到AGI，这真的很重要，因为这些系统变得更加通用、更复杂、更强大。这个问题将非常重要，即如何阻止不良行为者将这些系统用于它们不是为了目的，而是为了恶意目的。

这是我们需要越来越多地想出的东西，但回到你的问题，看看谷歌和DeepMind在过去十年或更长时间里在提出新的创新和突破以及多个、多项突破方面所做工作的历史。我会打赌我们，我当然非常有信心，在未来十年里，这将继续下去，实际上会更加真实，就像我们过去一样，产生下一个关键突破。

你认为这就是护城河吗：我们发明了大部分这些东西，所以我们要发明大部分接下来的东西？

我真的不认为它是护城河，但我是一个竞争非常激烈的人。这可能是我从国际象棋中得到的另一件事，许多研究人员都是。当然，他们这样做是为了发现知识，最终，我们来这里是为了改善人类状况。但是，我们也希望率先做这些事情，并负责任和大胆地做这些事情。我们有一些世界上最好的研究人员。我认为我们拥有世界上最大的伟大研究人员，在世界任何地方，以及令人难以置信的记录。而且没有理由将来不继续下去。事实上，我认为我们的新组织和环境可能比过去更有利于更快、更快的突破。

你正在引导我走向风险和监管。我想谈谈那个，但我想从不同的旋转开始。你说的是所有必须完成的工作。你说的是深度强化学习，它是如何运作的。我们与《纽约杂志》合作，制作了一个巨大的封面故事，讲述了实际进行培训的任务人员，他们实际上正在给数据贴上标签。一路上有很多与人工智能的劳工对话。好莱坞作家现在正在罢工，因为他们不想让ChatGPT写一堆剧本。我认为那很合适。

但随后，一个新的劳动力阶层正在发展，世界各地的一群人坐在电脑前说：“是的，这是一个停止的标志。不，那不是一个停止的标志。是的，那是你可以穿的衣服。不，那不是你可以穿的衣服。”那是一个永恒的状态吗？这只是这些系统运行需要做一类新的工作吗？还是结束了？

我觉得很难说。我认为这绝对是时间上的一个时刻，以及当前的系统以及他们目前的需求。就我们而言，我们一直非常谨慎地说，我认为你在那篇文章中引用了我们的一些研究人员的话，非常小心地支付生活工资，并对我们如何做这种工作以及我们使用哪些合作伙伴非常负责。我们也使用内部团队。因此，实际上，我为我们在此类工作上所承担责任心感到非常自豪。但展望未来，我认为这些系统，特别是一旦你拥有数百万用户，可能会有办法有效地引导自己。或者人们可以想象能够真正与自己交谈或批评自己的人工智能系统。

这有点像将语言系统变成一个类似游戏的设置，当然，我们非常擅长这个设置，我们一直在考虑这些强化学习系统，即它们的不同版本，实际上可以在哪里以某种方式相互评分。它可能不如人类评分者好，但它实际上是进行一些面包和黄油评级的有用方法，然后也许只是通过最后与人类评分者检查这些评级来校准它，而不是让人类评分者对一切进行评分。因此，我认为可以看到有很多创新将对此有所帮助，并可能意味着人类评分员对这一切的要求较少。

但你认为总是有人类评分者吗？即使你越来越接近AGI，你似乎也需要有人告诉计算机它是否做得很好。

让我们以AlphaZero为例，我们的一般游戏系统最终学会了如何玩任何双人游戏，包括国际象棋和围棋。这很有趣。那里发生的事情是，我们建立了系统，这样它就可以与自己对抗数千万次。因此，事实上，它建立了自己的知识库。它从随机开始，扮演自己，引导自己，训练更好的自己，并在各种小型锦标赛中相互扮演这些。但最后，你仍然想用人类世界冠军或类似的东西或以传统方式构建的外部计算机程序来测试它，这样你就可以校准自己的指标，这告诉你这些系统正在根据这些目标或这些指标进行改进。

但除非你用外部基准或措施校准它，否则你并不确定。根据具体情况，人类评分员或人类基准——人类专家通常是校准内部测试的最佳因素。你确保你的内部测试实际上是在映射现实。再说一遍，对于研究人员来说，这是一件非常令人兴奋的事情，因为当你将研究投入到产品中，每天有数百万人使用它时，你就会得到现实世界的反馈，而没有办法绕过这一点，对吗？这就是现实，这是对你构建的任何理论或任何系统的最佳测试。

你认为为人工智能系统的数据标记工作是有价值的还是合适的？这只是一些东西，那就是，“我要告诉一台电脑如何理解世界，这样它将来可能会发生，并取代其他人。”那里有一个循环，似乎更值得道德或哲学考虑。你花时间考虑过那件事吗？

是的，我确实考虑过这个问题。我想我真的不这么认为。我认为评分者正在做的是，他们是使这些系统更安全、对每个人都更有用、更有帮助和更可靠的开发周期的一部分。所以我认为这是一个关键组成部分。在许多行业，我们对技术和产品进行了安全测试。今天，我们为人工智能系统所能做的最好的事情就是拥有人类评分员。我认为，在未来几年里，我认为我们需要更多的研究。我一直在呼吁这样做，我们自己也在这样做，但它需要的不仅仅是一个组织来做到这一点，它是伟大的、强大的能力评估基准，这样我们就可以知道一个系统是否通过了这些基准，那么它具有某些属性，并且它是安全的，并且在这些特定方面是可靠的。

现在，我认为我们正处于学术界、民间社会和其他地方的许多研究人员的空间中，对于这些测试是什么，我们有很多好的建议，但我认为它们还不可靠或实用。我认为它们本质上基本上是理论和哲学的，我认为它们需要变得实用，这样我们才能根据这些测试从经验上衡量我们的系统，然后这给了我们一些关于系统将如何运行的保证。我认为，一旦我们有了这些，那么对这种人类评级测试反馈的需求就会减少。我只是认为这是现在所需数量中要求的，因为我们还没有这种独立的基准。部分原因是我们没有严格定义这些属性是什么。我的意思是，这几乎也是神经科学、心理学和哲学领域，对吗？这些术语中有很多没有被正确定义，即使是对人脑来说也是如此。

您签署了一封来自人工智能安全中心的信——OpenAI的Sam Altman和其他人也签署了这封信——警告人工智能的风险。然而，你在推动，谷歌在市场上，你必须赢，你把自己描述为有竞争力。那里有一种紧张关系：需要用产品在市场上获胜，“哦，孩子，请监管我们，因为如果我们不以某种方式阻止它，原始资本主义会用人工智能把我们赶下悬崖。”你如何平衡这种风险？

这是一种紧张。这是一种创造性的紧张关系。我们在谷歌想说的是，我们希望大胆和负责任，这正是我们正在努力做的事情，并树立榜样。因此，大胆的部分是勇敢和乐观地对待人工智能可以给世界带来的好处、惊人的好处、令人难以置信的好处，并帮助人类应对我们最大的挑战，无论是疾病、气候还是可持续性。人工智能在帮助我们的科学家和医学专家解决这些问题方面发挥着巨大的作用。我们正在为那个和所有这些领域努力工作。AlphaFold，再次指出，作为一个海报孩子，我们想在那里做什么。所以这就是大胆的部分。然后，负责任的一点是确保我们尽可能深思熟虑地提前这样做，并尽可能有远见。

试着预测一下，如果提前成功了，问题可能是什么。不是事后看来，也许这发生在社交媒体上，例如，这是令人难以置信的增长故事。显然，它在世界上做了很多好事，但15年后，我们意识到这些类型的系统也有一些意想不到的后果。我想用人工智能规划一条不同的道路。我认为这是一项如此深刻、重要和强大的技术。我认为我们必须用像人工智能这样具有潜在变革性的东西来做到这一点。这并不意味着不会犯任何错误。这是非常新的，任何新的东西，你不能提前预测一切，但我认为我们可以尝试尽我们所能。

这就是签署那封信的原因，只是为了指出我认为这不太可能，我不知道时间表，但我们也应该考虑这一点，在限制中，当我们接近AGI时，这些系统可以做什么和可能能够做什么。我们现在离那还很远。因此，这不是当今技术甚至未来几年的问题，但在某些时候，鉴于该技术的加速速度非常快，我们需要考虑这些问题，我们不想在它们发生前夕考虑它们。我们需要利用现在，未来五年，十年的时间，无论它是什么，做研究和分析，并与各种利益相关者、民间社会、学术界、政府接触，以弄清楚，随着这些东西发展得非常迅速，确保我们实现利益最大化和风险最小化的最佳方式是什么。

这主要包括在现阶段对这些领域进行更多研究，例如提出更好的评估和基准，以严格测试这些前沿系统的能力。

你谈到了人工智能模型的工具使用，你要求LLM做一些事情，它启动并要求AlphaFold为你折叠蛋白质。合并这样的系统，整合这样的系统，从历史上看，这是出现紧急行为的地方，你无法预测的事情开始发生。你担心那个吗？没有严格的方法来测试这一点。

对，没错。我认为这正是我们应该提前研究和思考的事情：随着工具的使用变得更加复杂，你可以以不同的方式将不同的人工智能系统结合在一起，紧急行为是有空间的。当然，这种紧急行为可能非常可取，并且非常有用，但它也可能对坏人和坏人，无论是个人还是民族国家，都可能有害。

假设美国、欧盟和中国都同意一些监管人工智能的框架，然后朝鲜或伊朗说：“去你妈的，没有规则。”这成为坏演员人工智能研究的中心。那是怎么回事？你预见到一个有可能的世界吗？

是的，我认为那是一个可能的世界。这就是为什么我一直在与各国政府——主要是英国、美国，但也包括欧盟——谈论未来几年发生的任何法规或护栏或任何测试。理想情况下，它们是国际性的，围绕这些保障措施进行国际合作，并围绕这些系统的部署和其他东西达成国际协议。现在，鉴于世界各地的地缘政治紧张局势，我不知道这有多大可能，但这是迄今为止最好的状态。我认为如果可以的话，我们应该以什么为目标。

如果这里的政府通过了一项规则。它说：“这是谷歌被允许做的事情，这是微软被允许做的事情。你负责，你有责任。”你可以说：“好吧，我们只是没有在我们的数据中心运行这个代码。我们不会拥有这些能力；这是不合法的。”如果我只是一个拥有MacBook的人，你会接受MacBook的一些限制吗，因为人工智能的威胁太可怕了？这就是我担心的事情。实际上，如果你有开源模型，并且人们会用它们做奇怪的事情，我们是否会告诉英特尔限制其芯片可以做什么？我们如何实施它实际上影响到每个人？不仅如此，如果谷歌做了我们不喜欢的事情，我们会把Demis扔进监狱。

我认为这些是目前正在辩论的大问题。我确实担心那个。一方面，开源和加速科学话语有很多好处，那里有很多进步，它为许多开发人员提供了访问权限。另一方面，如果有不好的个人行为者用这种访问做坏事，并且这种访问激增，可能会产生一些负面后果。我认为这是未来几年需要解决的问题。因为现在，我认为这没关系，因为系统没有那么复杂或那么强大，因此没有那么危险。

但我认为，随着系统权力和普遍性的增加，政府需要考虑访问问题，以及他们希望如何限制或控制或监控这将是一个重要问题。我没有任何答案，因为我认为这实际上是一个社会问题，需要整个社会的利益相关者团结起来，权衡那里的好处和风险。

谷歌自己的工作，你说我们还没有到那里，但谷歌自己在人工智能方面的工作肯定有一些争议，围绕着责任，关于模型能做什么或不能做什么。Emily Bender、Timnit Gebru和Margaret Mitchell的一篇著名的“Stochastic Parrots”论文在谷歌内部引发了很多争议。这导致他们离开了。你有没有读过那篇论文，然后想：“好吧，这是对的。大模型会骗人，谷歌将对此负责”？考虑到所有的审查，你现在对此有什么看法？

是的，听着，大型语言模型，我认为这是谷歌对此非常负责的原因之一，因为我们知道它们会产生幻觉，而且它们可能不准确。在未来几年必须改进的关键领域之一是事实性和接地，并确保它们不会传播虚假信息，诸如此类的东西。这对我们来说是头等之首。我们有很多关于如何改进这一点的想法。我们几年前发布的旧DeepMind的Sparrow语言模型是一个实验，研究我们在这些系统中如何获得事实性和遵守规则。事实证明，我们也许可以让它变得更好一个数量级，但它有时会以牺牲语言模型的清醒或创造力为代价，从而变得有用。

因此，这有点像帕累托前沿，如果你改进一个维度，你就会降低另一个维度的能力。理想情况下，我们想在下一阶段和下一代系统中做的是将两全其美结合起来——保持当前系统的创造力、清晰度和乐趣，但提高其真实性和可靠性。我们还有很长的路要走。但我可以看到情况有所改善，而且我认为没有任何理论上的原因，为什么这些系统在未来几年内无法达到极高的准确性和可靠性水平。

当您使用谷歌搜索生成体验时，您相信它的内容吗？

我愿意。我有时会仔细检查事情，特别是在科学领域，在那里我遇到过非常有趣的情况，实际上所有这些模型都这样做，你要求他们总结一个研究领域，我认为如果他们能做到这一点，那将非常有用，然后说：“嗯，我应该阅读哪些关键论文？”他们想出了听起来非常合理的论文，以及非常合理的作者名单。但是，当你去调查它时，事实证明，他们就像该领域最著名的人，或者两篇不同论文的标题结合在一起。但当然，它们作为单词集合是非常合理的。我认为，需要发生的是，这些系统需要理解引文、论文和作者列表是一个单一的块，而不是逐字预测。

有一些有趣的案例，我们需要改进，当然，有些事情是，我们希望推进科学的前沿，这是一个特别有趣的用例，我们想改进和修复它——也是为了我们自己的需求。我希望这些系统能更好地为我总结“这是阅读关于特定疾病的前五篇论文”或类似的东西，以便快速加入该特定领域的内容。我认为它会非常有用。