Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure

文章主要内容与创新点总结

一、主要内容

本文聚焦大型语言模型（LLMs）与人类大脑在句法结构表征上的关联性研究，提出了层级频率标记探针（HFTP）这一统一分析框架，通过频域分析技术，系统探究了LLMs的神经元模块与人类大脑皮层区域对句法结构（句子、短语层级）的编码机制。

1. 研究对象与数据：选取GPT-2、Gemma、Gemma 2、Llama 2、Llama 3.1、GLM-4六种主流LLMs，采用中英双语语料（含受控句法语料与自然文本），结合26名汉语母语者的颅内立体脑电图（sEEG）数据，实现模型与大脑数据的跨系统对比。
2. 核心发现：
   • LLM层面：所有模型均存在专门编码句子和短语的MLP神经元，不同模型的句法处理策略存在差异（如GPT-2集中于中间层，Gemma倾向早期层，Llama和GLM侧重深层）；模型升级呈现分歧趋势，Gemma 2与大脑的相似度高于Gemma，而Llama 3.1较Llama 2反而降低。
   • 人类大脑层面：句法处理依赖左半球优势网络（STG、MTG、IFG等核心语言区域），句子和短语处理由不同脑区独立完成，呈现“短语通道随脑层升高减少、句子通道增多”的层级模式。
   • 对齐分析：LLM表征与人类左半球（语言优势半球）的对齐度显著高于右半球，GPT-2的整体对齐表现最优；核心语言区域（左A1、STG、MTG、IFG）是模型与大脑句法表征对齐的关键脑区。
3. 方法验证：HFTP可无缝扩展至