多模态理论张德禄_观点 | 多模态研究：认知语言学的新方法

作为语言学与认知科学相融合的一个学科分支，认知语言学在研究方法上的实证趋势近年来逐渐明显。其中，多模态研究的应用成为热点话题。所谓多模态研究，是指通过多种技术手段记录人际交流过程中不同类型的模态数据，以此为基础对语言认知模式和意义发生机制展开多维度的探究，具体包括准备实验材料、收集声音和录像数据、转录和编码以及统计和分析等四个操作步骤。该方法不仅把语言模态视作人类认知世界的方式之一，而且认为图像、声音、手势、音乐等其他模态也是意义建构的重要手段。在聚焦一些主要议题之外，多模态研究以自身优势践行了认知语言学的理论诉求。

多模态研究四大主题

基于运动事件的语言类型研究。运动事件是人类语言的共有范畴，不同语言的说话者面对相同的运动事件往往有不同的表征模式。研究者让受试观看图片或视频并用语言或手势描述故事情节，然后把描述过程用录音或录像的方式记录下来做数据分析，可以发现多模态表征方式与语言类型之间的关联。泰尔米和斯洛宾通过对口语、书面语、手势等多模态数据的分析，把人类语言区分为卫星框架语言、动词框架语言和均等框架语言等三种类型。此外，关于语言类型特征的形成、发展和习得问题也可以在多模态视角下进行。

　　隐喻和转喻研究。早期对隐喻和转喻的研究主要限于语言层面，而多模态隐喻和转喻研究最近几年才兴起，研究对象涵盖了电视广告、政治漫画、公共演讲、儿童绘本等多种媒介。研究者通过对不同语篇所呈现的文字、图片、音乐、表情、手势等多种模态资源及其互动方式进行解析，可以发现源域和目标域在不同模态中的典型表现，从而阐明概念隐喻的含义、实现方式和创新本质。多模态隐喻通过视觉、听觉、语言等多种模态的协同和互动，旨在验证隐喻不仅是语言表达的方式，也是人类思维的方式。同时ÿ