MLPs Compass: What is learned when MLPs are combined with PLMs?

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是：当将多层感知器（MLPs）与预训练语言模型（PLMs）结合时，MLPs能为PLMs带来哪些额外的语言学信息理解能力。具体来说，研究者们提出了以下三个研究问题（RQs）：

1. 当基本的MLPs与Transformer结构在PLMs中结合时，可以学到什么？

2. 在结合MLPs和PLM时，性能变化是否存在层级敏感性？

3. 在增强PLMs时，MLPs特别擅长提高哪方面的语言学信息理解？

为了回答这些问题，研究者设计了一个简单的探测框架，包含基于BERT结构的MLPs组件，并在三个不同的语言学层次上进行了广泛的实验，涵盖了10个探测任务。实验结果表明，即使没有引入结构偏差，MLPs也能够增强PLMs对语言结构的理解，包括表层、句法和语义层面。研究为利用MLPs创建针对强调不同语言结构任务的PLMs变体提供了可解释性和有价值的见解。

Q: 有哪些相关研究？

A: 这篇论文提到了以下几类相关研究：

1. PLMs的解释性探索：一些研究工作[1-4]专注于对PLMs的解释性探索，以理解这些模型的工作原理。这些研究通过分析BERT的表示来揭示其对语言结构的隐式理解能力，展示了BERT在捕获不同层次的语言信息方面的能力。

2. BERT的语言学结构理解：研究者[5, 6]深入研究了BERT的表示，揭示了其捕获语言结构的能力，包括句法和语义抽象。

3. 结构特征的集成：许多研究[8-13]关注于复杂的框架，以将结构特征集成到如关系抽取等语义相关任务中。例如，通过将文本的依赖结构与图神经网络（GNNs）[14]结合。

4. MLPs在结构特征捕获中的作用：有趣的是，当前的一些研究[17]证明了使用MLPs可以有效地捕获结构特征，甚至在某些任务中超过了GNNs。

5. BERT的多语言能力：除了英语语言，基于相同Transformer结构的中文BERT[3]也能捕获词结构。

6. MLPs的潜在语义信息捕获能力：一些研究强调即使是基本的MLPs也具有揭示潜在语义信息的能力[20, 21]，并在无监督预训练中表现出比有监督预训练方法更好的迁移性[22]。

这些研究为理解PLMs的工作机制提供了基础，并为本文提出的研究问题提供了背景。

Q: 论文如何解决这个问题？

A: 论文通过以下步骤来解决这个问题：

1. 设计探测框架：研究者设计了一个基于BERT结构的简单而有效的探测框架，该框架包含额外的MLPs组件。这个框架用于评估MLPs与PLMs结合时对不同层次语言学信息的理解能力。

2. 进行广泛的实验：在三个不同的语言学层次（表层、句法和语义）上，研究者进行了包含10个探测任务的广泛实验。这些任务涵盖了从句子长度到词性、句法树深度、主谓宾数量等多个方面。

3. 分析实验结果：通过比较有无MLPs组件的探测结果，研究者分析了MLPs对PLMs性能的影响。他们观察到MLPs确实增强了PLMs对语言结构的理解，尤其是在句法和语义层面。

4. 探究层级敏感性：研究者通过可视化不同层级的性能变化来探究MLPs与PLM结合时的性能变化是否存在层级敏感性。他们发现MLPs在BERT的高层级表示中更一致地提供性能提升。

5. 比较语言学信息：为了分析MLPs在哪种类型的语言学信息上表现更好，研究者使用k-means聚类和标准化互信息（NMI）来评估聚类性能。这帮助他们理解MLPs在增强PLMs时特别擅长提高哪方面的信息理解。

通过这些步骤，研究者能够解释和量化MLPs与PLMs结合时所学习到的信息，并为如何利用MLPs来创建针对强调不同语言结构任务的PLMs变体提供了见解。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验：

1. 探测任务设计：研究者设计了10个探测任务，这些任务跨越了三个不同的语言学层次：表层、句法和语义。这些任务包括句子长度预测、词序恢复、句法树深度、句法树顶层结构、时态识别、主语数量、宾语数量、随机名词/动词替换敏感性以及并列从句的随机交换等。

2. 实验设置：使用BERT-base作为基础的PLM进行探测MLPs。通过在探测过程中包含或不包含MLPs组件来进行比较实验。每个探测任务的训练使用Adam优化器，批次大小为64，总共4个周期。同时，基于验证集实现了早停机制，耐心值为5。使用测试集上的准确率（ACC）来评估学习到的信息量。

3. 层级性能分析：研究者比较了不同层级在有无MLPs组件时的探测结果，以研究MLPs对不同层级信息捕获的影响。这有助于理解MLPs在不同层次上对语言结构理解的增强效果。

4. 层级敏感性分析：通过可视化不同层级在不同探测任务上的性能变化，研究者分析了MLPs与PLM结合时的性能变化是否存在层级敏感性。这有助于理解MLPs在不同层级上的敏感性和一致性。

5. 语言学信息比较：为了分析MLPs在哪种类型的语言学信息上表现更好，研究者在相同的任务组中使用测试数据表示进行k-means聚类，并使用标准化互信息（NMI）来评估聚类结果。这有助于理解MLPs在增强PLMs时特别擅长提高哪方面的信息理解。

这些实验旨在量化MLPs与PLMs结合时对语言学信息理解的影响，并提供了关于如何利用MLPs来创建针对强调不同语言结构任务的PLMs变体的见解。

Q: 有什么可以进一步探索的点？

A: 尽管论文已经提供了关于MLPs与PLMs结合时所学习信息的深入见解，但仍有一些潜在的研究方向可以进一步探索：

1. 不同架构的PLMs：研究可以在其他类型的预训练语言模型（如GPT系列、RoBERTa等）上进行，以了解MLPs在这些模型中的作用是否与BERT相似。

2. 更复杂的MLPs结构：可以探索更复杂的MLPs结构，例如包含更多层或使用不同的激活函数，以评估这些变化对PLMs性能的影响。

3. 多任务学习设置：在多任务学习的环境中研究MLPs与PLMs的结合，特别是在需要同时处理多种语言结构的任务中。

4. 动态结构集成：研究动态地将MLPs集成到PLMs中的方法，例如在训练过程中根据任务需求调整MLPs的权重或结构。

5. 跨语言迁移学习：研究MLPs与PLMs结合在跨语言迁移学习中的性能，特别是在不同语言结构差异较大的场景下。

6. 模型可解释性：进一步研究如何通过MLPs增强PLMs的可解释性，例如通过可视化MLPs的中间表示来理解其在语言理解中的作用。

7. 计算效率与性能权衡：分析在PLMs中集成MLPs的计算成本与性能提升之间的权衡，特别是在资源受限的环境中。

8. 模型泛化能力：研究MLPs与PLMs结合对模型泛化能力的影响，特别是在面对不同领域和语言的数据时。

通过这些进一步的探索，可以更全面地理解MLPs在PLMs中的作用，并为实际的自然语言处理任务提供更有效的模型设计策略。