第十四期 问答与对话-技术与系统
0714 基于深度学习的机器阅读理解以及问答系统
会议内容:机器阅读理解以及不同类型的问答系统和方法
主讲人:崔一鸣(科大讯飞)唐都钰(微软亚洲研究院)段楠(微软亚洲研究院)
主讲内容:基于深度学习的机器阅读理解,覆盖了目前主流的机器阅读理解任务,并对每个任务具有代表性的数据集和经典模型进行了详细的介绍;对于不同的问答系统和方法进行了介绍。
印象较深的内容:
- 问答系统有以下一些关键词:Q表示问题序列,P表示篇章序列,C表示选项,所选用的模型一般是将这三者进行两两组合求得权重进行一系列复杂的运算。
- 在进行MRC任务时,所进行了下面方式的划分数据集:
- 对于专有领域的NLP任务,在用BERT达到一定目标时,应当用自己领域的数据集进行Fine-tuning
- 机器阅读理解系统面临的最大挑战,是机器是否真正意义上理解了人类的语言
- 元学习:保证train和test的场景相同
0715 任务型对话系统及人工智能在对话系统中的技术现状与挑战
会议内容:任务型对话系统以及其中的关键技术和评测任务,深度学习在人机对话系统中的应用。
主讲人:张伟男(哈尔滨工业大学)严睿(北京大学)
主讲内容:介绍了任务型的对话系统, 并且简单介绍了垂直领域业务的助理系统等,这类系统具有明确需要完成的任务目标;回顾了人机对话的发展历程,以及随着深度学习技术盛行之后,由数据驱动模型带来的革命性改变。
印象较深的内容:
- 自然语言理解(NLU)任务主要包括三个部分:领域识别,意图识别,语义槽填充,任务型对话系统的根本任务主要围绕自然语言理解展开
- 意图识别与槽填充的联合学习:
- 对于意图识别和槽填充的联合学习:联合建模的效果好于单独建模,显式建模的效果好于隐式建模。
- 将对话逻辑推理和自然语言理解进行多任务学习,对话逻辑推理作为辅助任务帮助学习对话历史更好的表示。
- 对话状态即用户意图的语义表示,对话状态是人机对话过程中,用户目标的达成状态。
两天的学习感触比较深的细节:
- 主流的模型更新换代的速度非常快,我们做自然语言处理的基本要求就是将这些主流的通用领域模型应用到自己本领域的特有问题上面,但这仅仅只是基本要求,我们更主要的还是要读懂这些模型的源码,多看源码,熟知模型结构。