- 博客(31)
- 收藏
- 关注
RSS订阅原创 Pytorch nn.CosineEmbeddingLoss() 学习
cosine损失1. 余弦相似度的计算pytorch存在一个计算两个向量的余弦相似度的方法，torch.cosine_similarity输入：(N,D)(N, D)(N,D)和(N,D)(N, D)(N,D)，返回(N)(N)(N)。2. cosine损失的计算Pytorch自带的Loss为：CosineEmbeddingLoss公式：详情见官方文档3.代码实现这里用两种不同的方式实现了cosine loss的功能。import torchimport torch.nn as nn
2021-07-30 15:51:24
15537
原创 Adapter-Bot开源了
标题：《The Adapter-Bot: All-In-One Controllable Conversational Model》作者：香港科技大学时间：2020年8月过去对话系统的问题：have little or no control of the generated responses and miss two important features：（1） continuous on-demand dialogue skills integration：连续性对话技术整合(e.g., em
2021-04-15 17:16:12
253
原创 MultiWOZ 2.4最新版本：通过改良标注提升DST
标题：《MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with Essential Annotation Corrections to Improve State Tracking Evaluation》作者：伦敦大学时间：2021年4月中文：《MultiWOZ2.4版本，通过改良标注提升DST》内容：作者关注2.1版本的标注中噪声非常多导致各种DST模型在测试集上joint accuracy总是卡在55%以下的问题，决心花大
2021-04-13 22:07:45
661
原创 《DIET: Lightweight Language Understanding for Dialogue Systems》
标题：《DIET: Lightweight Language Understanding for Dialogue Systems》中文：用于对话系统的轻量语言理解方法时间：2020年5月作者：RASA简介：这个是RASA团队针对对话系统中NLU任务，设计的一种新框架，名叫Dual Intent and Entity Transformer (DIET，双重意图与实体Transformer ) 。成果是，DIET在不利用pre-trained embeddings.的情况下，达到了可比的性能，即la
2021-01-25 13:01:25
441
1
原创 《Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with
标题：《Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data》作者：Facebook时间：2020项目地址：https://github.com/facebookresearch/DataEfficientNLG（只是个数据集仓库，暂时还没有开放code）中文：数据高效建模的最佳实践NLG：如何用较少的数据训练可落地的神经网络模型简介
2020-12-29 21:13:26
157
原创 PLUG AND PLAY LANGUAGE MODELS
标题：《PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION》时间：2020年3月作者：Uber AI内容：本文关注可控生成，或条件生成问题。提出了一个Plug and Play Language Model (PPLM) 模型，它结合了一个预训练LM和一个或若干个属性分类器（attribute classifiers）来引导文本生成，而不需要进一步训练LM。源码：https://github.c
2020-11-20 09:23:38
1187
原创 RiSAWOZ中文任务型对话数据集
RiSAWOZ中文任务型对话数据集标题：《RiSAWOZ: A Large-Scale Multi-DomainWizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling》源码：https://github.com/terryqj0107/RiSAWOZ时间：2020年10月作者：苏州大学、天津大学内容：一个新的中文任务型对话数据集，包含12个领域，是目前最大的。标注很丰富，包含go
2020-11-14 11:38:28
1955
1
原创 《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》论文阅读
《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》标题：《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》作者：Rasa，卡耐基梅隆大学时间：2020年10月源码：https://github.com/RasaHQ/STAR内容：作者公开了名叫STAR的schema-guided任务型对话的新数据集。特别地，作者提出了新式的对话数据模式，解决了过去数据集的问题
2020-10-24 20:06:47
585
原创 《DialoGLUE》任务型对话新Benchmark & ConvBERT模型
DialoGLUE标题：《DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue》作者： 卡内基梅隆大学 ，Amazon Alexa AI时间：2020年10月内容：为了发展更通用的面向任务型对话系统，作者提出了一个大型公开benchmark，以鼓励学术界对representation-based transfer, domain adaptation, 以及sample-efficient t
2020-10-18 09:59:33
679
原创 《MultiWOZ 2.3》MultiWOZ数据集的新版本
标题《MultiWOZ 2.3: A multi-domain task-oriented dataset enhanced with annotation corrections and co-reference annotation》时间：2020年10月关键词：co-reference features内容：老版本数据集的问题，1、dialogue state annotations导致dialogue act annotations untouched. 2、the critical co
2020-10-18 09:54:15
997
2
原创 论文阅读：Adapter-Bot【融合异质对话任务-工程范式】
《The Adapter-Bot: All-In-One Controllable Conversational Model》标题：《The Adapter-Bot: All-In-One Controllable Conversational Model》作者：香港科技大学时间：2020年8月过去对话系统的问题：have little or no control of the generated responses and miss two important features：（1） con
2020-10-10 21:04:32
540
原创 论文阅读：MinTL【数据库查询结果的embedding】
标题：《MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems》作者：香港科技大学内容：也是基于Transformers预训练语言模型的任务型对话，与SimpleTOD，SOLOIST，BERT-TOD合称四大天王（狗头）。源码：https://github.com/zlinao/MinTLBert-TOD使用的是BERT，SimpltTOD，SOLOIST都使用的GPT-2，其中SOLOIST实现去dialogu
2020-10-10 21:00:24
740
原创 强化学习trick：RBS
强化学习trick：RBS来自2017年论文《Efficient Dialogue Policy Learning with BBQ-Networks》arXiv:1608.05081v3RBS = replay buffer spiking = spike the replay buffer with a few experiencesRBS是强化学习的一个简单的tricky，即pre-fill the experience replay buffer with a small set of t
2020-10-03 19:50:29
343
原创 Deep Dyna-Q 阅读笔记
读论文：Deep Dyna-QDeep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning时间：2018作者：微软研究院、香港中文大学源码：https://github.com/MiuLab/DDQ【按：这个源码太老了，竟然是用py2，numpy实现的】参考：https://zhuanlan.zhihu.com/p/50223176内容：任务型对话中基于RL的POL，需要人与agent交互，过去都是
2020-10-03 19:45:14
803
原创 《Meta Dialogue Policy Learning》Meta-DTQN (DP + RL)
《Meta Dialogue Policy Learning》作者：微软2020介绍：研究任务型对话中DP组件的few shot问题与新领域迁移。提出了DTQN以利用跨domains的low-level共享信号(如动作、槽位)。把DTQN嵌入到一个meta-Learning框架，引入了Meta-DTQN。注意现在这个论文还在under review，所以源码就别想了，不过可以去ConvLab上搜下试试。Introduction多领域问答：复杂的系统比如Siri，通常包含thousands
2020-09-28 11:16:52
843
1
原创 强化学习备忘录
强化学习备忘录强化学习一直想学没学起来之前2019年看了点Q_learning，DQN，但是也没看太明白2020年，因为任务型对话的POL组件需要RL，下定决心把RL搞懂。简史：动态规划DP–>Q-learning—>用Q-Network代替Q-Learning的Q表–>DQN–>用RNN来代替DQN中的全连接层–>DRQN等等Code：https://github.com/higgsfield/RL-Adventure一、动态规划参考：https://www
2020-09-28 08:53:07
268
原创 Uncertainty Loss不确定损失
Uncertainty Loss不确定损失背景：用于multi-task learning多任务学习论文：Multi-task learning using uncertainty to weigh losses for scene geometry and semantics.过去：两个子任务的Loss简单加权和。权重是超参数，需要人力调参。本文思想：权重也作为可训练参数。具体来说是建模任务间的同方差不确定性 。（1）多任务学习多任务学习可以认为是归纳知识迁移，通过共享互补任务的域信息提升泛
2020-09-12 10:54:57
7892
1
原创 【略解】copy机制与SpanPtr
一、概述背景：学习多领域多轮问答DST模型TRADE，发现其中一个技术点copy机制，对其调研如下：1.1 Copy机制相关论文No.标题简介1Vinyals et al., 2015 《Pointer networks》Pointer network；index-based copy；copy机制起源2Gulcehre et al., 2016《Point...
2020-02-16 17:53:26
2905
原创 MADA & DAMD
0.论文概要标题：《Task-Oriented Dialog Systems that Consider Multiple Appropriate Responses under the Same Context》领域：MultiWOZ的response generation任务，而非之前关注的DST任务时间：2019年12月2日作者：清华张一驰等源码：https://gitlab.co...
2020-02-05 21:51:36
2138
原创 最新模型-TRADE【Transferable Dialogue state generator】
论文名称：Transferable Multi-Domain State Generator for Task-Oriented Dialogue SystemsAbstract本文的模型叫做TRADE，全称Transferable Dialogue state generator，可转换的对话状态生成器根据多领域DST简史的调研，TRADE属于open-vocabulary based D...
2019-12-23 21:03:55
2501
4
原创 最新模型-SUMBT【slot-utterance matching belief tracker】
论文名称：SUMBT: Slot-Utterance Matching for Universal and Scalable Belief TrackingAbstract本文的模型叫做SUMBT，全称slot-utterance matching belief tracker，槽-话语匹配的对话状态跟踪器。根据多领域DST简史的调研，SUMBT属于fixed-vocabulary base...
2019-12-23 20:41:14
1360
1
原创 最新模型：COMER【Conditional Memory Relation Network】
论文名称：Scalable and Accurate Dialogue State Tracking via Hierarchical Sequence GenerationAbstract本文的模型叫做COMER，全称Conditional Memory Relation Network，条件记忆关系网络COMER是继TRADE后的又一个种多领域open-vocabulary based ...
2019-12-23 20:39:19
900
4
原创 论文阅读：《Find or Classify Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Trackin
论文阅读：《Find or Classify Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tracking》目录论文阅读：《Find or Classify Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tr...
2019-11-25 22:47:34
1131
3
原创 论文阅读：《Efficient Dialogue State Tracking by Selectively Overwriting Memory》
论文阅读：《Efficient Dialogue State Tracking by Selectively Overwriting Memory》目录论文阅读：《Efficient Dialogue State Tracking by Selectively Overwriting Memory》背景SOM-DST基本思想Open Vocabulary-based DST简史SOM-DST具体...
2019-11-23 23:05:21
1815
原创 多领域多轮问答调研报告3
多领域多轮问答调研报告2目录多领域多轮问答调研报告2一、相关背景1. 单领域2. 多领域二、模式设计三、数据集收集1. 技术综述2.MultiWOZ：3.SGD四、多领域对话状态跟踪研究：4.1 综述4.1 模式引导范式五、前景分析一、相关背景1. 单领域所谓的多领域，是对传统的单领域而言的。单领域，或者说限定域面向任务/目标型的问答机器人，在学术和工业界目前已经取得了极大的发展，其基本...
2019-11-21 22:41:30
2464
原创 论文阅读：《Towards Scalable Multi-domain Conversational Agents:The Schema-Guided Dialogue Dataset》
论文阅读：《Towards Scalable Multi-domain Conversational Agents:The Schema-Guided Dialogue Dataset》目录论文阅读：《Towards Scalable Multi-domain Conversational Agents:The Schema-Guided Dialogue Dataset》背景1 Introdu...
2019-11-18 10:04:57
2022
原创 论文阅读：《Hybrid Code Networks》
论文阅读：《Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning》目录论文阅读：《Hybrid Code Networks: practical and efficient end-to-end dialog contr...
2019-11-13 21:59:59
737
原创 论文阅读：《Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems》
论文阅读：《Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems》目录论文阅读：《Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems》背景1 INTRODUCTION2 MOTIVATION3 DATA COLLECTION3...
2019-11-13 21:57:50
396
原创 论文阅读：《What Question Answering can Learn from Trivia Nerds》
网址：https://www.arxiv-vanity.com/papers/1910.14464/https://arxiv.org/abs/1910.14464论文《What Question Answering can Learn from Trivia Nerds》这是今年9-10月份发布的，是一篇反传统的QA方向的论文，主要是回答“我们从哪里来，要到哪里去”这一问题。目录1 I...
2019-11-07 22:39:53
222
原创 论文阅读：《SIM: A Slot-Independent Neural Model for Dialogue State Tracking》
论文阅读：SIM: A Slot-Independent Neural Model for Dialogue State Tracking1.全文背景2.介绍3.问题构建3.1简述3.2正式数学描述SIMInput RepresentationContextual RepresentationInter-Attention4.实验部分5.总结如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格...
2019-11-03 21:56:25
750
原创 论文阅读：GLAD《Global-Locally Self-Attentive Dialogue State Tracker》
论文阅读：《Global-Locally Self-Attentive Dialogue State Tracker》背景这篇论文，如我所关注的那样，还是针对任务完成型对话系统的。其核心就是所谓的**对话状态跟踪(Dialogue state tracking)**组件。这篇paper里，作者提出了“全局加部分自注意力对话状态跟踪器（Global-Locally Self- Attentive...
2019-11-03 21:56:02
1124
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人