2020年10月26日上午10:00,应智能计算研究中心陈清财老师、户保田老师的邀请,复旦大学计算机科学技术学院邱锡鹏教授在T5607为我院师生带来了一场题为“自然语言处理中的自注意力模型”的学术报告,从模型原理及改进和模型的应用两个方面介绍了目前在自然语言处理领域取得广泛成功的自注意力模型“Transformer”。我院近一百余名学生参加了此次讲座。
在这次报告中,邱锡鹏教授首先分析了Transformer模型的基本原理和优缺点,随后讲解了其研究组针对Transformer模型各项缺点提出的多个改进模型,包括Star-Transformer、Multi-scale Transformer、BP-Transformer等。之后,邱锡鹏教授又讲解了其研究组将Transformer模型应用在文本分类、实体名识别等自然语言任务上,并进行针对性的改进后取得的成果。最后,邱锡鹏教授还对自注意力模型的未来发展趋势进行了展望。
报告结束后,邱锡鹏教授认真解答了在场师生提出的相关问题,使到场的各位师生受益良多。讲座结束后邱锡鹏教授和智能计算研究中心师生在哈工大信息楼1411室进行了内部交流,希望今后能够互相学习、共同进步。
邱锡鹏教授简介:
邱锡鹏,复旦大学计算机科学技术学院教授,博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究,发表CCF A/B类论文70余篇,获得ACL 2017杰出论文奖(CCF A类)、CCL 2019最佳论文奖。出版开源专著《神经网络与深度学习》,曾获得国家优秀青年科学基金、首届中国科协青年人才托举工程项目、钱伟长中文信息处理科学技术奖青年创新一等奖、Aminer “2020年度AI 2000人工智能全球最具影响力提名学者”等。主持开发了开源框架FudanNLP和FastNLP,目前担任中国中文信息学会青年工作委员会执行委员、计算语言学专委会委员、语言与知识计算专委会委员,中国人工智能学会青年工作委员会常务委员、自然语言理解专委会委员。
邱锡鹏教授学术报告现场
在场师生认真听取学术报告(1)
在场师生认真听取学术报告(2)