独家 | 机器学习前沿：为什么上下文是一切（附链接）

作者：Gadi Singer May 11, 2022翻译：陈超

校对：zrx

本文约4400字，建议阅读10分钟本文将讨论机器学习中上下文的重要性，以及后期绑定上下文如何提高机器启蒙的标准。

图片版权：REDPIXEL via Adobe Stock

我们中的大多数人肯定听过这句谚语，“形象就是一切。”但谈到将AI升级到一个新的水平时，上下文才是一切。

上下文意识体现了人类学习的所有精细差别。正是‘谁’‘为什么’‘何时’为人类决策和行为提供了信息。如果没有上下文，当前的基础模型注定会转动车轮，并最终改变AI用于改善我们生活的期望轨迹。

这篇博客将讨论机器学习中上下文的重要性，以及后期绑定上下文如何提高机器启蒙的标准。

为什么上下文很重要

上下文深度嵌入人类学习当中，以至于很容易忽视它在我们对给定上下文反应当中的重要作用。为了阐明这一点，让我们假设一个两人对话场景，一个简单的问题开始：祖母怎么样？

在真实世界的对话当中，这个简单的问题会基于上下文因素（包括时间，环境，关系等）引发任意数量的潜在响应。

图1.对“祖母怎么样？”的合适回答是高度依赖上下文的。图片版权：Intel labs

该问题表明人类思维是怎样追踪并把大量上下文信息，甚至微妙的幽默，纳入考虑以返回相关响应的。这种流畅地适应大量且精细的上下文的能力远远超出了现代AI系统的能力范畴。

为了掌握这种机器学习缺陷的重要性，需要考虑基于强化学习（RL）的自主代理和机器人的发展。尽管基于RL的架构已经在Dota2和StarCraft II等模拟游戏环境中大肆宣传并获得成功，但由于在游戏中取得胜利所要求的策略具有高度上下文性和复杂性，即使像NetHack纯游戏环境都给当前的RL系统设置了一个可怕的障碍。相似地，在不需要认真的工程工作来在配置之前模拟正确类型的环境，或者强化习得规则却实现与以前从未见过的物理环境交互之前，自主机器人还有很长的路要走。

当前机器学习和上下文查询处理

一般情况下，大部分机器学习模型都包含特定查询的非常有限的上下文，且主要依赖于由模型被训练或调试好的数据集提供的通用上下文。这些模型引发了对偏差的顾虑：这使得他们不适用于商业、医疗保健和其他重要应用程序。即使是最先进的语音助手AI应用程序中使用的最先进的模型（如D3ST），也需要手动创建模型需要识别上下文的可能意图和行动的架构或本体的描述。虽然这其中只涉及了相对最低的人工制作水平，但它意味着每一次任务上下文更新时都需要明确的人工输入。

这并不是说机器学习模型在上下文感知上没有重大发展。OpenAI团队打造的著名大型语言模型GPT-3已经被用于生成可与人类创作相媲美的完整文章——这项任务至少需要追踪局部的上下文。Google于2022年4月推出的路径语言模型(Pathways Language Model, PaLM)则展示了更强大的功能，包括在适当的上下文下理解概念组合以对复杂查询做出响应的能力。