2019年10月_lwgkzl

原创 [NLG] Domain Adaptive Dialog Generation via Meta Learning

总述：这篇文章貌似就是把end2end模式的dialogue system套了一层maml的更新方式，然后在few-shot领域上的效果比之前赵天成的ZSDG效果要好。感觉思路很清新也很简单，不知道是不是我没看懂QAQ总之要看懂这篇论文，首先得看下Sequicity和 MaMl模型：首先介绍一下maml的主要思想：maml就是说有多个domain的数据a1,a2,a3...

2019-10-24 01:54:48 556

原创 [DM]Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architect

总述：这篇文章的主要特色在于生成dialogue believes，也就是作者所谓的belief span，在对话管理模块中，一般都需要首先对一句话的belief进行分类（就是一些slot-value对，一般来说分为两种类型，一种informable类型的，要告诉用户某一些具体信息，一种requestable类型的，需要记住用户需要什么。对于某一个informable类型比如说餐馆风味，有很多...

2019-10-20 01:02:04 788

原创 [NLG]Few-Shot Dialogue Generation Without Annotated Data: A Transfer Learning Approach

总述：我觉得这篇论文的主要亮点就是不要标注数据。之前赵天成的zero-shot虽然很惊艳，但是迫于每一句话都需要标注dialogu action，所以应用性不强。这篇论文就是结合了赵天成之前的两篇工作，第一个zero-shot，第二个laed（用于在大规模数据中学习找到对话潜在的latent action）。然后作者就认为，在大规模无标签对话中用laed学习可以学到隐式的dialog ac...

2019-10-19 16:10:27 510

原创 [NLG] Pretraining for Conditional Generation with Pseudo Self Attention

摘要：这篇文章的主要idea就是如何用现在已经有的语言模型，稍微引导一下生成基于某些条件的话语。如给个情感，生成一个带情感的句子。作者在GPT2的结构上稍微修改了self-attention机制，命名为Pseudo-Self，在decoder的时候引入外部控制，并且这样做能够尽量小的影响GPT2之前的训练参数，达到的很好的效果。模型：作者主要对比了前面两种工作，关于这两种工作...

2019-10-17 01:19:42 535

原创 [NLG]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generat

看这篇paper看的自闭了。作者用了太多操作了。。。摘要：作者的意思应该是要在一些无监督的语句中学会一些可解释的离散的laent action，然后用这些laent action指导对话的生成。什么叫可解释呢，我觉得这篇论文的意思就是，这个latent(意图，动作，相当于slot-value对)和这一句对话有直接的关系。然后作者就用了两个新的模型，实际上就是魔改了VAE（看的我脑阔痛）...

2019-10-15 01:51:58 473 1

原创 [NLG] Zero-Shot Dialog Generation with Cross-Domain Latent Actions

摘要：简单来说，就是实现了对话生成的zero shot(零次学习)。首先在一些source domain当中学习一些domain的基本描述，希望学到的这些基本描述能够用于target domain的对话生成，其中source domain的领域和target domain完全不一样。但是属性是共同的。主要工作： 1.提出来一种新的抽取domain 属性和描述的方法：seed...

2019-10-13 02:00:05 606

原创 [NLG]GECOR: An End-to-End Generative Ellipsis and Co-reference Resolution Model for Task-Oriented Di

摘要：之前还没有人做过multi-turn dialogue的有关省略和共指词汇的研究，只有短文本恢复省略词汇的研究。本文作者通过构造一个数据集（数据集中将dialogue的省略词和共指词都标记了出来），然后结合attention和copynet提出了一个end2end的multi-task学习框架。学习在结合上文的情况下，如何生成省略词和共指词。并且EM，BLEU，F1的效果不错。主...

2019-10-10 15:26:55 810

原创 [NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?

摘要：为了发现对话历史是否真的被有效的利用了，本文介绍了10种干扰来评测对话历史是否真正被利用。发现transformer-seq2seq 和rnn seq2seq并没有很好地利用这些信息主要工作：首先有一个前提：如果模型对于对话历史的改变不敏感的话，那么他基本上没有利用多少对话历史。在之前的工作中已经发现：1.lstm的作用范围只被周围的大约150个词所...

2019-10-09 01:21:46 458

lwgkzl的博客