TPAMI 2024 | 人类与机器智能：通过复杂系统理论评估自然语言生成模型

Human Versus Machine Intelligence: Assessing Natural Language Generation Models Through Complex Systems Theory

题目：人类与机器智能：通过复杂系统理论评估自然语言生成模型

作者：Enrico De Santis, Alessio Martino, and Antonello Rizzi

---

摘要

Transformer架构的引入——特别是自注意力机制——在自动自然语言生成（NLG）领域是一次重大突破，解决了一般任务导向问题，例如生成简单长文本摘录，这些文本看起来像是人写的。尽管GPT-X架构的性能有目共睹，但许多努力正在进行，以揭开这些黑箱在智能信息处理方面的秘密，其输出的统计分布类似于自然语言。在这项工作中，通过复杂性科学框架，提供了对由GPT-2英文版生成的文本与人类生成的文本（特别是英文小说和编程代码）的随机过程的比较研究。这项研究在方法论上首先包括一个分析阶段，在这个阶段中，采用了多分形去趋势波动