weixin_44385551的博客

cosine损失1. 余弦相似度的计算pytorch存在一个计算两个向量的余弦相似度的方法，torch.cosine_similarity输入：(N,D)(N, D)(N,D)和(N,D)(N, D)(N,D)，返回(N)(N)(N)。2. cosine损失的计算Pytorch自带的Loss为：CosineEmbeddingLoss公式：详情见官方文档3.代码实现这里用两种不同的方式实现了cosine loss的功能。import torchimport torch.nn as nn

标题：《MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with Essential Annotation Corrections to Improve State Tracking Evaluation》作者：伦敦大学时间：2021年4月中文：《MultiWOZ2.4版本，通过改良标注提升DST》内容：作者关注2.1版本的标注中噪声非常多导致各种DST模型在测试集上joint accuracy总是卡在55%以下的问题，决心花大

标题：《DIET: Lightweight Language Understanding for Dialogue Systems》中文：用于对话系统的轻量语言理解方法时间：2020年5月作者：RASA简介：这个是RASA团队针对对话系统中NLU任务，设计的一种新框架，名叫Dual Intent and Entity Transformer (DIET，双重意图与实体Transformer ) 。成果是，DIET在不利用pre-trained embeddings.的情况下，达到了可比的性能，即la

标题：《Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data》作者：Facebook时间：2020项目地址：https://github.com/facebookresearch/DataEfficientNLG（只是个数据集仓库，暂时还没有开放code）中文：数据高效建模的最佳实践NLG：如何用较少的数据训练可落地的神经网络模型简介

《Meta Dialogue Policy Learning》作者：微软2020介绍：研究任务型对话中DP组件的few shot问题与新领域迁移。提出了DTQN以利用跨domains的low-level共享信号(如动作、槽位)。把DTQN嵌入到一个meta-Learning框架，引入了Meta-DTQN。注意现在这个论文还在under review，所以源码就别想了，不过可以去ConvLab上搜下试试。Introduction多领域问答：复杂的系统比如Siri，通常包含thousands

强化学习备忘录强化学习一直想学没学起来之前2019年看了点Q_learning，DQN，但是也没看太明白2020年，因为任务型对话的POL组件需要RL，下定决心把RL搞懂。简史：动态规划DP–>Q-learning—>用Q-Network代替Q-Learning的Q表–>DQN–>用RNN来代替DQN中的全连接层–>DRQN等等Code：https://github.com/higgsfield/RL-Adventure一、动态规划参考：https://www

Uncertainty Loss不确定损失背景：用于multi-task learning多任务学习论文：Multi-task learning using uncertainty to weigh losses for scene geometry and semantics.过去：两个子任务的Loss简单加权和。权重是超参数，需要人力调参。本文思想：权重也作为可训练参数。具体来说是建模任务间的同方差不确定性 。（1）多任务学习多任务学习可以认为是归纳知识迁移，通过共享互补任务的域信息提升泛

一、概述背景：学习多领域多轮问答DST模型TRADE，发现其中一个技术点copy机制，对其调研如下：1.1 Copy机制相关论文No.标题简介1Vinyals et al., 2015 《Pointer networks》Pointer network；index-based copy；copy机制起源2Gulcehre et al., 2016《Point...

0.论文概要标题：《Task-Oriented Dialog Systems that Consider Multiple Appropriate Responses under the Same Context》领域：MultiWOZ的response generation任务，而非之前关注的DST任务时间：2019年12月2日作者：清华张一驰等源码：https://gitlab.co...

论文名称：Transferable Multi-Domain State Generator for Task-Oriented Dialogue SystemsAbstract本文的模型叫做TRADE，全称Transferable Dialogue state generator，可转换的对话状态生成器根据多领域DST简史的调研，TRADE属于open-vocabulary based D...

论文名称：SUMBT: Slot-Utterance Matching for Universal and Scalable Belief TrackingAbstract本文的模型叫做SUMBT，全称slot-utterance matching belief tracker，槽-话语匹配的对话状态跟踪器。根据多领域DST简史的调研，SUMBT属于fixed-vocabulary base...

论文名称：Scalable and Accurate Dialogue State Tracking via Hierarchical Sequence GenerationAbstract本文的模型叫做COMER，全称Conditional Memory Relation Network，条件记忆关系网络COMER是继TRADE后的又一个种多领域open-vocabulary based ...

论文阅读：《Find or Classify Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tracking》目录论文阅读：《Find or Classify Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tr...

多领域多轮问答调研报告2目录多领域多轮问答调研报告2一、相关背景1. 单领域2. 多领域二、模式设计三、数据集收集1. 技术综述2.MultiWOZ：3.SGD四、多领域对话状态跟踪研究：4.1 综述4.1 模式引导范式五、前景分析一、相关背景1. 单领域所谓的多领域，是对传统的单领域而言的。单领域，或者说限定域面向任务/目标型的问答机器人，在学术和工业界目前已经取得了极大的发展，其基本...

论文阅读：《Towards Scalable Multi-domain Conversational Agents:The Schema-Guided Dialogue Dataset》目录论文阅读：《Towards Scalable Multi-domain Conversational Agents:The Schema-Guided Dialogue Dataset》背景1 Introdu...

论文阅读：《Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning》目录论文阅读：《Hybrid Code Networks: practical and efficient end-to-end dialog contr...

论文阅读：《Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems》目录论文阅读：《Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems》背景1 INTRODUCTION2 MOTIVATION3 DATA COLLECTION3...

论文阅读：《Global-Locally Self-Attentive Dialogue State Tracker》背景这篇论文，如我所关注的那样，还是针对任务完成型对话系统的。其核心就是所谓的**对话状态跟踪(Dialogue state tracking)**组件。这篇paper里，作者提出了“全局加部分自注意力对话状态跟踪器（Global-Locally Self- Attentive...