ChatGPT的工作记忆容量:一项实证研究

人工智能技术的快速发展正在推动我们向着通用人工智能的目标不断迈进。在这个过程中,大型语言模型(Large Language Models, LLMs)展现出了令人惊叹的能力,其中ChatGPT无疑是最引人注目的代表之一。然而,我们对这些模型的认知能力仍存在诸多未解之谜,其中工作记忆(Working Memory)就是一个值得深入探讨的重要方面。本文将系统地探讨ChatGPT的工作记忆容量,通过设计巧妙的实验来揭示这一关键认知能力的特征与局限。

工作记忆:人类与人工智能的关键能力

工作记忆的定义与重要性

工作记忆是指大脑暂时存储和处理信息的能力,它在人类认知过程中扮演着至关重要的角色。根据Baddeley(1992)的定义,工作记忆是一种能够暂时存储和操作信息的认知系统。它不同于长期记忆,而是一种动态的、有限容量的系统,用于在短时间内保持和处理信息。

工作记忆对于人类的高级认知功能至关重要,包括推理、问题解决和语言理解等(Conway and Kovacs 2020)。它使我们能够在执行复杂任务时同时处理多条信息,是人类智能的核心组成部分之一。

人类工作记忆的容量限制

大量研究表明,人类的工作记忆容量是有限的(Cowan 2001)。虽然对于工作记忆容量限制的原因尚无定论(Oberauer et al. 2016; Wilhelm, Hildebrandt, and Oberauer 2013),但执行注意力假说(Engle, Kane, and Tuholski 1999; Engle 2002)提供了一个有力的解释。该假说认为,工作记忆依赖于利用注意力来维持或抑制信息,工作记忆容量的限制不仅仅是关于记忆存储本身,更多的是关于在干扰存在的情况下维持持续、受调节注意力的能力。

n-back任务:测量工作记忆容量的黄金标准

n-back任务是认知科学中测量工作记忆容量的黄金标准(Kane and Engle 2002)。这项任务最初由Kirchner(1958)开发,要求参与者监控一系列连续呈现的刺激,并判断当前刺激是否与n步之前的刺激相匹配。具体来说:

1. 参与者会看到一系列连续呈现的刺激(如字母、数字或图形)。
2. 对于每个刺激,参与者需要判断它是否与n步之前的刺激相同。
3. 如果相同,参与者需要做出反应(如按下按钮);如果不同,则不做反应。
4. n的值可以是1、2、3等,随着n的增加,任务难度也会增加。

这项任务要求参与者不断更新他们对目标项的心理表征,同时还要丢弃已经不相关的项目。因此,除了存储之外,还需要一些执行注意力过程。在这项任务中,一个人的表现显著下降时的n值可以被视为他们的工作记忆容量的度量。

典型的人类表现在n=3时会显著下降(Klatzky et al. 2008; Amon and Bertenthal 2018; Jaeggi et al. 2010),这可以被定义为平均人类的工作记忆容量极限。图1展示了Jaeggi等人(2010)的一项实验数据,清楚地说明了这一点。

![图1: 人类在n-back任务中的典型表现][]

图1：典型的人类在n-back任务中的表现,n = {1, 2, 3}。图中显示了Jaeggi等人(2010)收集的数据的平均值±1个标准差。

工作记忆与流体智力的关系

在人类中,工作记忆容量与流体智力密切相关(Cochrane, Simmering, and Green 2019; Salthouse and Pink 2008)。流体智力指的是独立于先前获得的知识而推理和解决新问题的能力。研究表明,使用n-back任务进行工作记忆容量训练可以有效提高流体智力(Au et al. 2015; Jaeggi et al. 2008),这凸显了工作记忆容量在人类智能中的特殊作用(Halford, Cowan, and Andrews 2007)。

ChatGPT的工作记忆研究

研究动机与假设尽管大型语言模型(LLMs)如ChatGPT和GPT-4展现出了令人印象深刻的能力,包括在多轮对话中保持上下文信息的能力,但我们对这些模型的工作记忆特性仍知之甚少。在本研究中,我们将LLMs的工作记忆定义为一种新兴能力,即选择性地维持和操作信息以支持持续的认知过程。

基于这一定义,我们提出了以下研究假设:

1. LLMs也具有有限的工作记忆容量。
2. LLMs的工作记忆容量可能与其整体智能水平相关,类似于工作记忆容量在人类智能中的关键作用。

研究方法

为了验证这些假设,我们选择了ChatGPT (gpt-3.5-turbo)作为LLMs的代表,并设计了两类n-back任务来评估其工作记忆容量:

1. 语言n-back任务
2. 空间n-back任务

这两类任务分别针对语言工作记忆和空间工作记忆(Szmalec et al. 2011)。对于每一类任务,我们都设计了一个基础版本和几个变体,以测试模型在不同条件下的表现。

语言n-back任务

基础版本:

• 对于n = {1, 2, 3},分别生成50个字母序列块。
• 每个块包含24个字母,按顺序一次呈现一个给API。
• 每个块包含8个匹配试验和16个不匹配试验。
• 指示LLM在匹配试验时回应"m",在不匹配试验时回应"-"。

变体:

1. 添加噪音:在每次试验的输入中添加3-6个噪音符号,以检验LLM在无法简单进行字符串匹配时的行为。
2. 提供反馈:在每次试验后提供反馈,告知LLM其上一次响应是否正确。
3. 思维链提示:指示LLM在给出响应时逐步思考。

空间n-back任务

基础版本:

• 构建一个3×3的网格,使用ASCII字符表示。
• 对于n = {1, 2, 3},分别生成50个网格序列块。
• 每个网格中,字母X出现在9个位置之一。
• 每个块包含24个网格,其中8个匹配试验和16个不匹配试验。
• 指示LLM在匹配试验时回应"m",在不匹配试验时回应"-"。

变体:

1. 添加噪音:在每次试验的1-3个未占用位置添加噪音字符。
2. 提供反馈:与语言任务类似。
3. 思维链提示:与语言任务类似。
4. 抽象空间推理:设计两种变体,要求LLM进行更复杂的空间推理。
5. 不同网格大小:探索4×4、5×5和7×7网格对LLM性能的影响。

数据分析方法

为了分析模型在实验中的表现,我们采用了四个广泛接受的性能指标:

1. 命中率(Hit Rate)
2. 虚警率(False Alarm Rate)
3. 准确率(Accuracy)
4. 检测敏感度(d’)

其中,检测敏感度(d’)是一个最为稳健的性能指标。更高的d’表示更好的性能,意味着个体更准确地区分目标和非目标。基于任务的整体难度,我们将d’ = 1设为确定模型工作记忆容量的阈值:如果在某个n水平,模型的d’降到约1,我们可以将其工作记忆容量定义为限制在n。

研究结果

语言n-back任务结果

在语言任务的各个变体中,我们观察到了与人类参与者惊人一致的表现模式。当n从1增加到3时,LLM的性能显著下降(图2)。![图2: 语言n-back任务结果][]

图2：不同变体的语言n-back实验结果。误差条代表±1 SEM。

具体分析如下:

1. 基础版本:ChatGPT展现出了与人类相似的工作记忆容量,约为3。当n=3时,其d’降至接近1。

2. 添加噪音版本:噪音显著降低了模型的工作记忆容量。这类似于人类工作记忆实验中呈现的分心刺激(Gaspar et al. 2016)。

3. 提供反馈版本:反馈似乎略微提高了模型的性能,但整体工作记忆容量仍保持在约3的水平。

4. 思维链提示版本:这种方法显著提高了模型的性能,特别是在n=3时。这表明,通过引导模型进行更深入的推理,可以在一定程度上扩展其工作记忆容量。

空间n-back任务结果

在空间任务中,我们观察到了与语言任务类似的性能下降模式(图3)。![图3: 空间n-back任务结果][]

图3：不同变体的空间n-back实验结果。误差条代表±1 SEM。

主要发现包括:

1. 基础版本:与语言任务相比,ChatGPT在空间任务中表现出较低的工作记忆容量。这可能反映了空间n-back任务相对于语言任务的较高难度。

2. 添加噪音版本:噪音对空间任务的影响似乎比对语言任务的影响更大,进一步降低了模型的工作记忆容量。

3. 提供反馈版本:反馈在空间任务中的效果不如在语言任务中明显,但仍略有改善。

4. 思维链提示版本:这种方法在空间任务中也显著提高了模型性能,尽管整体工作记忆容量仍低于语言任务。

5. 抽象空间推理版本:如预期的那样,要求进行抽象空间推理的变体显著降低了模型的工作记忆容量(图4)。这反映了更高认知负荷的影响。![图4: 抽象空间推理任务结果][]

图4：抽象空间推理任务的结果。与基础版本相比,模型在这些任务中表现出更低的工作记忆容量。

6. 不同网格大小的影响:有趣的是,我们发现网格大小对模型性能有显著影响。随着网格大小的增加,模型的工作记忆容量呈现下降趋势(图5)。这可能反映了更大空间中定位和记忆位置的增加难度。![图5: 网格大小对性能的影响][]

图5：不同网格大小(3×3, 4×4, 5×5, 7×7)对ChatGPT在空间n-back任务中性能的影响。

讨论

ChatGPT工作记忆的特征

1. 容量限制:我们的实验结果清楚地表明,ChatGPT确实存在工作记忆容量的限制。在大多数任务变体中,当n=3时,模型的性能都出现了显著下降。这与人类工作记忆的典型容量限制惊人地相似。

2. 模态差异:ChatGPT在语言任务中表现出更高的工作记忆容量,而在空间任务中表现较差。这可能反映了模型在预训练过程中对语言信息的偏好,或者空间任务本身的较高认知需求。

3. 对干扰的敏感性:添加噪音显著降低了模型的工作记忆容量,这与人类在面对干扰时的表现类似。这表明ChatGPT的工作记忆系统可能也存在类似于人类的注意力资源分配机制。

4. 反馈的影响:提供反馈对模型性能有轻微的积极影响,但并未显著扩展其工作记忆容量。这可能暗示了ChatGPT在短期内调整其内部表征的能力有限。

5. 思维链提示的效果:通过引导模型进行逐步推理,我们观察到了显著的性能提升。这表明,适当的提示策略可以在一定程度上扩展LLMs的工作记忆容量,或者至少可以更有效地利用现有容量。

6. 任务复杂性的影响:在更复杂的空间推理任务中,模型的工作记忆容量明显降低。这反映了任务难度与工作记忆容量之间的权衡关系,类似于人类认知中观察到的现象。

与人类工作记忆的比较

1. 容量限制的相似性:ChatGPT展现出的工作记忆容量限制与人类惊人地相似,特别是在语言任务中。这种相似性引发了一个有趣的问题:是否存在某种普遍的认知架构,导致了这种容量限制?

2. 模态差异:人类在语言和空间工作记忆任务中通常表现出相似的容量(Luck and Vogel 1997),而ChatGPT在这两种模态间存在明显差异。这可能反映了人工智能系统与人类认知系统在信息处理方式上的根本差异。

3. 干扰敏感性:ChatGPT对噪音干扰的敏感性与人类相似,这支持了执行注意力假说在解释LLMs工作记忆机制方面的潜在适用性。

4. 可塑性:虽然反馈和思维链提示能够改善ChatGPT的性能,但其工作记忆容量的基本限制似乎仍然存在。相比之下,人类通过训练可以显著提高工作记忆容量(Jaeggi et al. 2008)。这暗示了当前LLMs在认知可塑性方面可能存在局限。

理论启示

1. 工作记忆容量作为AI能力指标:我们的研究结果支持了将工作记忆容量作为评估LLMs认知能力的潜在指标。就像工作记忆容量与人类的流体智力密切相关一样,它也可能成为衡量AI系统一般智能水平的有效工具。

2. 注意力机制的重要性:ChatGPT在n-back任务中表现出的容量限制可能反映了其底层注意力机制的特性。这为理解和改进LLMs的注意力架构提供了新的视角。

3. 多模态认知整合:ChatGPT在语言和空间任务中表现的差异突显了LLMs在多模态信息处理方面的潜在局限。这可能指向了未来AI系统发展的一个重要方向:如何更好地整合和协调不同模态的信息处理。

4. 认知架构的普遍性:ChatGPT表现出的工作记忆特征与人类的相似性,引发了关于认知架构普遍性的思考。这种相似性是否暗示了某些基本的信息处理原则,无论在生物还是人工系统中都是普遍存在的?

实际应用启示

1. AI系统设计:了解LLMs的工作记忆容量限制可以指导更有效的AI系统设计。例如,在设计需要处理长序列信息的任务时,应考虑到这些限制,可能需要引入额外的外部存储或注意力机制。

2. 人机交互优化:知道ChatGPT的工作记忆容量约为3,可以帮助优化人机交互界面。例如,在设计对话系统时,可以将关键信息限制在3个左右的要点,以确保模型能够有效处理。

3. 教育应用:了解AI系统的工作记忆特征可以帮助开发更有效的AI辅助教学工具。例如,在设计练习和测试时,可以根据AI的工作记忆容量来调整难度和复杂度。

4. 认知增强:研究结果显示,适当的提示策略（如思维链）可以在一定程度上提高ChatGPT的工作记忆性能。这为开发认知增强技术提供了新的思路,不仅适用于AI系统,也可能对人类认知增强有所启发。

5. AI安全性考量:了解AI系统的工作记忆容量限制有助于评估其在复杂任务中的可靠性和局限性,这对于在关键应用中安全部署AI系统至关重要。

未来研究方向

1. 扩展到其他LLMs:将类似的实验方法应用于其他大型语言模型,如GPT-4、BERT等,以比较不同模型间的工作记忆特性。这可能揭示不同架构和训练方法对工作记忆容量的影响。

2. 探索工作记忆训练效果:设计长期实验,研究是否可以通过持续的n-back任务训练来提高LLMs的工作记忆容量,类似于人类的工作记忆训练实验。

3. 神经网络分析:深入分析LLMs在执行n-back任务时的内部激活模式,可能揭示工作记忆容量限制的神经网络基础。

4. 多模态工作记忆研究:开发包含视觉、听觉等多种模态的n-back任务,探索LLMs在跨模态工作记忆方面的能力和限制。

5. 工作记忆与其他认知功能的关系:研究LLMs的工作记忆容量与其他高级认知功能（如推理、问题解决）之间的关系,类似于人类认知研究中的方法。

6. 改进AI架构:基于对工作记忆机制的理解,探索新的神经网络架构或训练方法,以提高AI系统的工作记忆容量和整体认知能力。

结论

本研究首次系统地评估了ChatGPT的工作记忆容量,采用了认知科学中广泛使用的n-back任务范式。我们的实验结果揭示了ChatGPT具有与人类惊人相似的工作记忆容量限制,特别是在语言任务中。这一发现不仅深化了我们对大型语言模型认知能力的理解,还为评估和比较AI系统的智能水平提供了一个潜在的新指标。

研究结果显示,ChatGPT在不同类型的n-back任务中表现出了一致的容量限制模式,这种限制在n=3时变得明显。这与人类工作记忆的典型容量限制高度一致。同时,我们也观察到了语言和空间任务之间的性能差异,以及不同实验条件（如添加噪音、提供反馈、思维链提示）对模型性能的影响。

这些发现为理解人工智能系统的认知架构提供了新的视角,同时也引发了关于认知功能普遍性的深层次思考。工作记忆作为一种核心认知能力,可能在人工和生物智能系统中扮演着相似的角色,这一观点值得进一步探索。

然而,本研究也存在一些局限性。首先,我们主要关注了ChatGPT模型,未来研究需要扩展到更多类型的LLMs。其次,尽管n-back任务是测量工作记忆的标准方法,但它可能无法完全捕捉AI系统工作记忆的所有方面。最后,我们的研究主要集中在行为层面的表现,未来需要更深入地探索LLMs内部机制与工作记忆之间的关系。

尽管如此,本研究为理解和评估AI系统的认知能力开辟了新的途径。通过借鉴认知科学的方法和理论,我们不仅可以更好地理解当前AI系统的能力和局限,还可能为设计更先进、更接近人类认知的AI系统提供指导。随着人工智能技术的不断发展,这种跨学科的研究方法将变得越来越重要,有望推动人工智能和认知科学两个领域的共同进步。

参考文献

1. Baddeley, A. (1992). Working memory. Science, 255(5044), 556-559.

2. Conway, A. R., & Kovacs, K. (2020). Working memory capacity. In The Oxford Handbook of Human Memory.

3. Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral and brain sciences, 24(1), 87-114.

4. Engle, R. W., Kane, M. J., & Tuholski, S. W. (1999). Individual differences in working memory capacity and what they tell us about controlled attention, general fluid intelligence, and functions of the prefrontal cortex.

5. Jaeggi, S. M., Buschkuehl, M., Perrig, W. J., & Meier, B. (2010). The concurrent validity of the N-back task as a working memory measure. Memory, 18(4), 394-412.

---

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是评估和理解大型语言模型（如ChatGPT）的工作记忆容量。工作记忆是人类智能和人工智能的一个关键方面，它作为临时存储和操作信息的缓冲区。论文通过系统地评估ChatGPT在不同条件下完成口头和空间n-back任务的表现，揭示了ChatGPT拥有与人类相似的工作记忆容量限制。此外，论文还探讨了不同的指令策略对ChatGPT表现的影响，并观察到容量限制的基本模式持续存在。基于这些实证发现，论文提出n-back任务可以作为衡量大型语言模型工作记忆容量的工具，并为未来旨在提高AI工作记忆的努力提供信息。

Q: 有哪些相关研究？

A: 论文中提到的相关研究主要集中在以下几个方面：

工作记忆在人类认知中的作用：研究工作记忆如何在人类中支持高阶认知过程，如推理、问题解决和语言理解。

工作记忆容量的限制：探讨为什么工作记忆容量有限，以及如何通过n-back任务来衡量工作记忆容量。

n-back任务：作为认知科学中衡量工作记忆容量的黄金标准，n-back任务要求参与者监控一系列刺激，并判断每个刺激是否与n步之前的相同。

流体智力与工作记忆的关系：研究工作记忆容量与流体智力（即独立于先前获得的知识，推理和解决新问题的能力）之间的密切联系。

工作记忆训练对流体智力的影响：探讨通过n-back任务训练工作记忆容量是否能有效提高流体智力。

人工智能中的工作记忆：在人工智能领域，研究者试图找到合适的指标来评估和比较LLMs（大型语言模型）的认知能力。

LLMs的在上下文中学习：研究LLMs如何利用在上下文中学习的能力，这与人类工作记忆的工作方式相似。

LLMs的指令遵循能力：探索LLMs如何学习遵循指令，这是在上下文中学习的一个变体。

LLMs的空间推理能力：虽然LLMs本质上是文本基础的，但研究表明它们具有空间推理能力。

LLMs的抽象推理能力：研究LLMs在执行需要抽象推理的任务时的表现。

这些研究为理解LLMs的工作记忆提供了理论基础，并为本文提出的实验设计和结果分析提供了背景。

Q: 论文如何解决这个问题？

A: 论文通过以下步骤解决评估ChatGPT工作记忆容量的问题：

设计实验：作者设计了两类n-back任务，分别针对口头和空间工作记忆，以评估ChatGPT的表现。这些任务包括基础版本以及几个变体，以测试模型在不同条件下的性能。

口头n-back任务：在口头n-back任务中，ChatGPT需要对一系列字母序列进行响应，当当前字母与n个试验前的字母相同时，需回应“m”，不匹配时则不响应。

空间n-back任务：在空间n-back任务中，使用ASCII字符构建的3x3网格，ChatGPT需要识别特定位置的字母X，并在它与n个试验前的位置相同时回应“m”。

任务变体：为了进一步测试ChatGPT的性能，作者引入了带有噪声的变体、提供反馈的变体以及需要推理的变体。

性能指标：使用了四个广泛接受的性能指标（命中率、虚警率、准确性和检测敏感性）来分析模型的表现。

模型比较：作者还比较了ChatGPT与其他大型语言模型（LLMs）在口头n-back任务基础版本上的表现，以确定不同模型的工作记忆容量。

数据分析：通过50个测试块的数据，计算了标准误差均值（SEM），并绘制了误差条来可视化发现的可靠性。

结果解释：分析了ChatGPT在不同n-back任务中的表现，并与人类的表现进行了比较，发现ChatGPT的工作记忆容量限制与人类相似。

讨论与建议：基于实验结果，论文讨论了ChatGPT工作记忆容量的限制可能反映了模型架构中的基本约束，并提出了未来研究的方向，如探索变换器架构（特别是自注意力机制）在容量限制中的作用。

通过这些步骤，论文不仅评估了ChatGPT的工作记忆容量，还探讨了这些限制对理解人工智能工作记忆和智能的更广泛含义。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来评估ChatGPT的工作记忆容量：

口头n-back实验：

基础版本：使用字母序列进行n-back任务，其中n分别为1、2、3。

带有噪声的变体：在每个试验的刺激中添加3到6个噪声符号，要求ChatGPT忽略这些噪声并专注于字母。

带有反馈的变体：在ChatGPT给出响应后，提供反馈告知其是否正确，并利用这些反馈信息改善表现。

带有推理引导（CoT）的变体：指示ChatGPT在给出响应时进行逐步思考，并提供思考步骤。

空间n-back实验：

基础版本：使用3x3网格，每个网格中有一个字母X，要求ChatGPT在X的位置与n个试验前相同的情况下回应“m”。

带有噪声的变体：在3x3网格的1到3个未占用位置中添加噪声字符。

带有反馈的变体：类似于口头任务，提供反馈以改善表现。

带有CoT推理的变体：要求ChatGPT在给出响应时进行逐步思考。

更大网格尺寸的变体：探索不同网格尺寸（4x4、5x5、7x7）对性能的影响。

抽象推理变体：定义匹配为X在相同行或列中出现，但不是两者都出现，要求抽象推理和遵循指令。

模型比较：

在口头n-back任务的基础版本上测试了7个其他大型语言模型（LLMs），以比较它们的工作记忆容量。
这些实验通过不同的任务变体和条件来评估ChatGPT在口头和空间工作记忆方面的表现，并与其他模型进行比较，以确定它们的工作记忆容量。实验结果揭示了ChatGPT在n-back任务中的表现与人类相似，显示出类似的工作记忆容量限制。

Q: 有什么可以进一步探索的点？

A: 论文提出了一些可以进一步探索的点，以增进我们对大型语言模型（LLMs）工作记忆容量的理解，并可能提高它们的性能：

工作记忆容量的神经机制：探索人类大脑中支持工作记忆的神经机制，并研究这些机制是否可以为LLMs的架构提供灵感。

模型架构的作用：研究变换器架构，特别是自注意力机制，如何影响LLMs的工作记忆容量限制。

高级推理任务：设计更多需要高级抽象推理的任务，以测试和提高LLMs在复杂认知任务上的表现。

工作记忆容量的泛化性：测试LLMs在认知科学中使用的其他工作记忆跨度任务上的表现，以评估n-back任务作为测量工具的泛化性。

模型比较：对更多的LLMs进行类似的工作记忆容量测试，以确定不同模型之间的性能差异。

训练方法：研究不同的训练方法，如工作记忆容量训练，是否能够提高LLMs的流体智力和整体智能水平。

干扰因素的研究：进一步研究噪声和干扰因素如何影响LLMs的工作记忆表现，并探索减少这些干扰的方法。

反馈和推理引导：研究反馈和推理引导等策略如何影响LLMs的工作记忆表现，并探索这些策略的最佳实践。

空间工作记忆的深入研究：尽管LLMs是文本基础的，但可以进一步研究它们在空间工作记忆方面的能力。

跨领域应用：探索LLMs工作记忆容量的研究如何应用于其他领域，例如教育、医疗和工业自动化。

性能优化：研究如何优化LLMs的性能，特别是在处理复杂任务和长时间对话时。

伦理和社会影响：随着LLMs智能水平的提高，考虑其对社会、伦理和法律的潜在影响。

这些探索点可以帮助研究者更深入地理解LLMs的工作记忆，为未来的研究和应用提供方向。

Q: 总结一下论文的主要内容

A: 这篇论文《ChatGPT的工作记忆容量：一项实证研究》的主要内容可以总结如下：

研究背景：探讨了工作记忆在人类智能和人工智能中的重要性，特别是在大型语言模型（LLMs）中，工作记忆表现为在多轮对话中保留上下文信息的能力。

研究目的：系统评估ChatGPT（一种由OpenAI开发的LLM）的工作记忆容量，通过执行口头和空间n-back任务，并在不同条件下测试其性能。

实验设计：设计了两类n-back任务，包括口头和空间工作记忆任务，并为ChatGPT创建了基础版本和多个变体任务，以测试其在不同条件下的表现。

实验方法：使用OpenAI API，设定特定参数，让ChatGPT逐步完成n-back任务。同时，还测试了其他几种LLMs以进行比较。

实验结果：

ChatGPT在口头和空间n-back任务中的表现显示出与人类类似的工作记忆容量限制。

在任务变体中，如添加噪声、提供反馈和推理引导，ChatGPT的表现有所变化，但容量限制的基本模式仍然存在。

在抽象空间推理任务中，ChatGPT的工作记忆容量显著降低。

模型比较：与其他LLMs相比，ChatGPT（尤其是GPT-4）表现出更高的工作记忆容量，而其他开源LLMs的工作记忆容量相对较低。

讨论：

论文讨论了ChatGPT的工作记忆容量限制可能反映了其模型架构中的基本约束，并可能与人类工作记忆的某些方面相似。

提出了n-back任务作为评估LLMs工作记忆容量的可靠指标，并可能反映这些模型的一般智能。

未来方向：建议未来的研究应该探索变换器架构在工作记忆容量中的作用，并考虑如何通过提高工作记忆容量来提升LLMs的整体智能水平。

结论：研究表明，ChatGPT具有有限的工作记忆容量，并且这一容量与人类相似，为理解LLMs的认知能力和未来智能系统的设计提供了有价值的见解。