《中国人工智能学会通讯》——7.25 利用自然语言语音绘制人体大脑皮层的语义地图...

7.25 利用自然语言语音绘制人体大脑皮层的语义地图

此前的神经影像研究已经识别出大脑中的一组极有可能表示语义信息的区域。这些区域统称为语义系统（semantic system），相比非词汇（non-words）、 音 韵 学 任 务（phonological tasks）和 随 机 无 序 的 语 言 语 音（temporally scrambledspeech），语义系统对单词（words）、语义任务（semantic tasks） 和 自 然 语 言 语 音（naturalspeech）有更显著的反应。针对语义系统中特定类型表示的研究表明，语义系统对具体或抽象的词汇、行为动词、社会性叙事等语义特征具有区域选择性。其他研究也发现，语义系统对特定的语义模块（semantic domain），既包括相关概念的一组词汇，例如单词 living things、tools、food 和 shelter 属于同一个语义模块，也具有区域选择性。然而，现有的研究仅仅在少量的刺激条件下进行，所以迄今为止并没有研究能够全面地阐释语义信息在整个语义系统上是如何表示的。

为试图解决上述问题，我们利用数据驱动的方法，对听到含有多个语义模块的有声记叙故事后大脑的反应进行建模。利用功能性磁共振成像（fMRI）技术，我们记录了 7 名被试在收听 2 个多小时的“飞蛾广播时间”（The Moth Radio Hour）故事节选的过程中全脑血氧浓度（BOLD，blood-oxygen-level-dependent）的变化。接着我们利用一种对复杂自然脑刺激建模的高效方法——体积元建模（voxel-wise modelling），估计在大脑每个体元区域上的语义选择性（见图 1a）。