weixin_44385551的博客

cosine损失1. 余弦相似度的计算pytorch存在一个计算两个向量的余弦相似度的方法，torch.cosine_similarity输入：(N,D)(N, D)(N,D)和(N,D)(N, D)(N,D)，返回(N)(N)(N)。2. cosine损失的计算Pytorch自带的Loss为：CosineEmbeddingLoss公式：详情见官方文档3.代码实现这里用两种不同的方式实现了cosine loss的功能。import torchimport torch.nn as nn

标题：《The Adapter-Bot: All-In-One Controllable Conversational Model》作者：香港科技大学时间：2020年8月过去对话系统的问题：have little or no control of the generated responses and miss two important features：（1） continuous on-demand dialogue skills integration：连续性对话技术整合(e.g., em

标题：《MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with Essential Annotation Corrections to Improve State Tracking Evaluation》作者：伦敦大学时间：2021年4月中文：《MultiWOZ2.4版本，通过改良标注提升DST》内容：作者关注2.1版本的标注中噪声非常多导致各种DST模型在测试集上joint accuracy总是卡在55%以下的问题，决心花大

标题：《DIET: Lightweight Language Understanding for Dialogue Systems》中文：用于对话系统的轻量语言理解方法时间：2020年5月作者：RASA简介：这个是RASA团队针对对话系统中NLU任务，设计的一种新框架，名叫Dual Intent and Entity Transformer (DIET，双重意图与实体Transformer ) 。成果是，DIET在不利用pre-trained embeddings.的情况下，达到了可比的性能，即la

标题：《Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data》作者：Facebook时间：2020项目地址：https://github.com/facebookresearch/DataEfficientNLG（只是个数据集仓库，暂时还没有开放code）中文：数据高效建模的最佳实践NLG：如何用较少的数据训练可落地的神经网络模型简介

标题：《PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION》时间：2020年3月作者：Uber AI内容：本文关注可控生成，或条件生成问题。提出了一个Plug and Play Language Model (PPLM) 模型，它结合了一个预训练LM和一个或若干个属性分类器（attribute classifiers）来引导文本生成，而不需要进一步训练LM。源码：https://github.c

RiSAWOZ中文任务型对话数据集标题：《RiSAWOZ: A Large-Scale Multi-DomainWizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling》源码：https://github.com/terryqj0107/RiSAWOZ时间：2020年10月作者：苏州大学、天津大学内容：一个新的中文任务型对话数据集，包含12个领域，是目前最大的。标注很丰富，包含go

《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》标题：《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》作者：Rasa，卡耐基梅隆大学时间：2020年10月源码：https://github.com/RasaHQ/STAR内容：作者公开了名叫STAR的schema-guided任务型对话的新数据集。特别地，作者提出了新式的对话数据模式，解决了过去数据集的问题

DialoGLUE标题：《DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue》作者： 卡内基梅隆大学 ，Amazon Alexa AI时间：2020年10月内容：为了发展更通用的面向任务型对话系统，作者提出了一个大型公开benchmark，以鼓励学术界对representation-based transfer, domain adaptation, 以及sample-efficient t

标题《MultiWOZ 2.3: A multi-domain task-oriented dataset enhanced with annotation corrections and co-reference annotation》时间：2020年10月关键词：co-reference features内容：老版本数据集的问题，1、dialogue state annotations导致dialogue act annotations untouched. 2、the critical co

《The Adapter-Bot: All-In-One Controllable Conversational Model》标题：《The Adapter-Bot: All-In-One Controllable Conversational Model》作者：香港科技大学时间：2020年8月过去对话系统的问题：have little or no control of the generated responses and miss two important features：（1） con

标题：《MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems》作者：香港科技大学内容：也是基于Transformers预训练语言模型的任务型对话，与SimpleTOD，SOLOIST，BERT-TOD合称四大天王（狗头）。源码：https://github.com/zlinao/MinTLBert-TOD使用的是BERT，SimpltTOD，SOLOIST都使用的GPT-2，其中SOLOIST实现去dialogu

强化学习trick：RBS来自2017年论文《Efficient Dialogue Policy Learning with BBQ-Networks》arXiv:1608.05081v3RBS = replay buffer spiking = spike the replay buffer with a few experiencesRBS是强化学习的一个简单的tricky，即pre-fill the experience replay buffer with a small set of t

读论文：Deep Dyna-QDeep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning时间：2018作者：微软研究院、香港中文大学源码：https://github.com/MiuLab/DDQ【按：这个源码太老了，竟然是用py2，numpy实现的】参考：https://zhuanlan.zhihu.com/p/50223176内容：任务型对话中基于RL的POL，需要人与agent交互，过去都是

《Meta Dialogue Policy Learning》作者：微软2020介绍：研究任务型对话中DP组件的few shot问题与新领域迁移。提出了DTQN以利用跨domains的low-level共享信号(如动作、槽位)。把DTQN嵌入到一个meta-Learning框架，引入了Meta-DTQN。注意现在这个论文还在under review，所以源码就别想了，不过可以去ConvLab上搜下试试。Introduction多领域问答：复杂的系统比如Siri，通常包含thousands

强化学习备忘录强化学习一直想学没学起来之前2019年看了点Q_learning，DQN，但是也没看太明白2020年，因为任务型对话的POL组件需要RL，下定决心把RL搞懂。简史：动态规划DP–>Q-learning—>用Q-Network代替Q-Learning的Q表–>DQN–>用RNN来代替DQN中的全连接层–>DRQN等等Code：https://github.com/higgsfield/RL-Adventure一、动态规划参考：https://www

Uncertainty Loss不确定损失背景：用于multi-task learning多任务学习论文：Multi-task learning using uncertainty to weigh losses for scene geometry and semantics.过去：两个子任务的Loss简单加权和。权重是超参数，需要人力调参。本文思想：权重也作为可训练参数。具体来说是建模任务间的同方差不确定性 。（1）多任务学习多任务学习可以认为是归纳知识迁移，通过共享互补任务的域信息提升泛

一、概述背景：学习多领域多轮问答DST模型TRADE，发现其中一个技术点copy机制，对其调研如下：1.1 Copy机制相关论文No.标题简介1Vinyals et al., 2015 《Pointer networks》Pointer network；index-based copy；copy机制起源2Gulcehre et al., 2016《Point...

0.论文概要标题：《Task-Oriented Dialog Systems that Consider Multiple Appropriate Responses under the Same Context》领域：MultiWOZ的response generation任务，而非之前关注的DST任务时间：2019年12月2日作者：清华张一驰等源码：https://gitlab.co...

论文名称：Transferable Multi-Domain State Generator for Task-Oriented Dialogue SystemsAbstract本文的模型叫做TRADE，全称Transferable Dialogue state generator，可转换的对话状态生成器根据多领域DST简史的调研，TRADE属于open-vocabulary based D...