多模态理论张德禄_论坛报道|适用语言学云端论坛（三）多模态研究

8月1日下午，由上海交通大学马丁适用语言学研究中心(马丁中心)主办的“适用语言学云端论坛(三)多模态研究”顺利举行。此次论坛由澳大利亚新南威尔士大学Louise Ravelli副教授、同济大学张德禄教授、香港理工大学冯德正副教授、英国利物浦大学Kay O’Halloran教授作主旨发言。来自国内外600多名学者、高校教师和研究生参加了本次论坛。

论坛开始，上海交通大学外国语学院常务副院长常辉教授致欢迎辞，由马丁中心主任王振华教授主持。

Louise Ravelli副教授的发言题目是“Multimodality and the built environment: Spatial Discourse Analysis”，由冯德正副教授主持。Ravelli教授追溯了建筑多模态研究二十余年来的发展历史，重点介绍了与McMurtrie一起提出的基于社会符号学和元功能视角的“空间话语分析”框架，并将其运用于悉尼的建筑研究。空间话语分析综合考量建筑结构、空间构成、内容配置和用户体验，最终从符号意义联系社会语境，解读知识的社会建构。Ravelli教授阐释了该分析框架下再现、互动、组织和关系意义在建筑三维空间中的表现方式，展示了从内部和周围考察建筑的视角观以及理想与现实的层级观，并论述了组织结构与社会物质性和建筑环境间的关系。Ravelli教授以新南威尔士大学为例，系统分析了前后期建筑变化中的元功能意义及其背后的物质、社会和符号事实，深入解读了建筑的社会文化内涵，最后，她通过该分析框架指导建筑和教学设计的案例，论证了系统功能语言学的学科适用性。

张德禄教授的发言题目是“多模态语篇分析与多模态语法”，由冯德正副教授主持。张教授首先探讨了多模态语法研究的必要性，他指出相关研究在多模态理论构建方面存在不足，体现在成分关系、系统特征和不同符号系统的适用性等方面，并讨论了造成这些局限的现实原因。张教授接着介绍了语法的概念意义和特点，并重点探讨了是否选择分析多模态语法的决定因素，包括进行多模态语篇分析的目的和目标、相关模态或符号系统的特点以及多模态语篇分析的特点。其中，目标和目的涉及非语言符号的理论构建、解决实际问题和从功能、形式、认知、心理等不同角度进行研究；模态或符号系统的特点包括对不同层次和不同类别符号系统的区分；多模态语篇分析的特点包括多模态话语的不同组合模式和各个模态片段的协同关系。张教授的报告启发我们重新思考什么是语法、语法与语篇的界限等基本问题。最后，张教授论述了从确定分析目标、确定语篇特点、选择合适的研究视角到确定具体分析步骤的多模态语篇分析基本选择程序。

冯德正副教授的发言题目是“多模态与跨文化交际研究”，由瞿桃博士主持。冯教授从系统功能语言学的适用性和多模态分析领域的拓宽出发，引出多模态在跨文化交际研究中的应用，以期了解当代中国的跨文化身份状况。他介绍了三个跨文化概念词Cross-cultural、Inter-cultural和Trans-cultural的所指所含，阐述了三者的不同研究侧重点，即文化差异分析、不同文化背景参与者的互动和全球化背景下的文化杂合三个方面。冯教授从这三个视角出发，结合具体案例讲解了跨文化多模态研究的可行路径，其中，文化差异分析以中美大学官网主页对比为例，在视觉语法框架下量化中美两国文化异同，发掘了多模态分析方法所展现的具体而复杂的文化特征；不同文化背景的参与者互动研究关注商务话语和媒体传播中的言语与非言语行为；文化杂合与同质反映在社交媒体等多模态交际中，冯教授通过分析抖音短视频中的西安形象和斗鱼直播中的网红身份，提出超文化身份的多模态建构综合框架。发言最后，冯教授展望了跨文化交际中多模态中国话语的研究前景，指出其对阐释新媒体影响下的中国社会文化、推动中国文化走出去都具有深远意义。

Kay O’Halloran教授的发言题目是“Persistence and Decay of Trends: The Dynamics of News and Social Media as COVID-19 Emerged and Spread”，由Louise Ravelli副教授主持。O’Halloran教授通过团队开发的多模态分析平台(MAP)，考察了新闻和社交媒体对事件报道的多模态话语建构，以此描述信息传播的增长动态与趋势。她首先指出，多模态研究的最新发展要求建立可行的计算模型，将多模态分析框架与大数据、云计算、自然语言处理、图像视频处理、情境元数据相融合，并且运用于不同数字平台的多模态交际分析，同时她也指出了多模态数字化研究所面临的挑战。接着Gautam Pal博士讲解了多模态分析平台(MAP)部分。他介绍了该平台的科学原理、数据提取与分析流程、平台操作界面等内容，并结合具体分析数据阐释了媒体信息传播特点与趋势。随后O’Halloran教授从近期的新冠肺炎疫情和黑人人权运动切入，展示了基于多模态分析平台的情感取值、热点词云方面的分析结果，揭示了热点话题的动态发展趋势以及社会与媒体的互动关系。

专家与参会者的互动环节由上海交通大学马丁中心骨干研究成员杨翕然博士主持。参会者踊跃提问，四位专家积极互动，反响热烈。

论坛最后，马丁中心创建人王振华教授对四位主旨发言专家的精彩发言和与会者的热情参与表示感谢，他对四位专家的发言作了精辟总结，评论并展望了多模态领域的研究。王教授预告，第四期适用语言学云端论坛将于8月29日举办，主题是司法话语研究。

文案 | 方硕瑜

审阅 | 王振华

编辑 | 杨沁怡

        欢迎关注马丁中心！