MIT、北大、浙大、港大的四位讲者分享大模型前沿研究，畅聊ChatGPT

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

2023年3月9日，AI TIME 大模型系列活动推出首期专场活动。本次活动邀请到了香港大学一年级博士生谢天宝、北京大学计算机学院四年级博士生张之远、浙江大学一年级硕士乔硕斐、麻省理工学院一年级博士生肖光烜。四位嘉宾分享了他们在大模型方面的前沿研究。在panel环节，讨论了ChatGPT、AIGC等当下热点话题，为观众带来了一场精彩的大模型科学思辨，本次活动共吸引了线上约两万观众观看。

谢天宝：UnifiedSKG：Unifying and Muti-Tasking Structured Knowledge Grounding with Text-to-Text Language Models

结构化知识基础(Structured knowledge grounding，SKG)利用结构化知识来完成用户请求，例如基于数据库的语义解析和基于知识库的问答。由于SKG任务的输入和输出是异构的，它们被不同的社区分别研究，这限制了对SKG的系统性和兼容性研究。谢博士分享了自己最新的研究工作中通过提出UnifiedSKG框架克服了这一限制。新框架将21个SKG任务统一为文本到文本格式，旨在促进系统的SKG研究，而不是排他性地针对单个任务、领域或数据集，同时也证明了多任务前缀调整可以提高大多数任务的性能，从而大大提高整体性能。

张之远：Fine-mixing：Mitigating Backdoors in Fine-tuned Language Models

众所周知，深度神经网络(DNN)容易受到后门攻击。在自然语言处理(NLP)中，大规模预训练语言模型(PLM)通常在含有后门的有毒数据上被微调的过程中被后门化。尽管PLM的干净权重很容易获得，但现有方法在保护NLP模型免受后门攻击时忽略了这一信息。张之远博士在本次活动中介绍了自己的研究工作，这项工作为安全微调的NLP模型建立了一个简单但强大的基线防御方法Fine-mixing来抵御后门攻击。该项工作通过两种互补技术利用未微调的干净预训练权重来去除被微调后的语言模型中的后门，并在三个单句情感分类任务和两个句子对分类任务上将 Fine-mixing与典型的后门防御算法方法进行了比较，证明了Fine-mixing性能的优越性。

乔硕斐：Reasoning with Language Model Prompting：A survey

推理能力是人类智能的核心，但在自然语言处理(NLP)中，现代神经网络很难根据已知或已知信息进行推理。随着预训练的革命性发展ÿ