zhaotianc文章

---

zhaotianc文章（1）
Pretraining Methods for Dialog Context Representation Learning
大致内容：
bert是在句子层面提取信息，然后对话有discourse-level的特征，大致理解为前后句子的递进转折和句子平和起来表达的含义比较复杂，bert不行。 本文针对对话列举4种预训练方法，以fine-tune到下流任务。效果明显。
1）Next-Utterance Retrieval
2）Next-Utterance Generation
3）Masked-Utterance Retrieval
4）Inconsistency Identification
1给出context和usr，检索式生成下一句。2是seq2seq生成回复。3是给出context，但是其中一句被mask到任意到句子，从R候选集中选出被mask的句子。4是给出context，其中一句$u_t$被替换，找出替换位置t。
3和4是新提出的，3作者解释：
MUR is analogous to the MLM objective of Devlin et al. (2018), which forces model to keep a distributional contextual representation of each input token. By masking entire utterances, instead of input tokens, MUR learns to produce strong representations of each utterance.
我理解就是bert的处理对象由word升级到句子为基本单位。
4This pretraining objective aims to explicitly model the coherence of the dialog, which encourages both local representations of each individual utterance and a global representation of the dialog context. We believe that this will improve the generality of the pretrained representations.
没感受到，但是学习了说法。
鉴于目前机器问题，而且运用到模型不太实际。学习方法。

---

zhaotianc文章（2）
Zero-shot dialog generation with cross-domain latent actions
cross-domain先不研究，感觉比较复杂而且有投机取巧的感觉。

---

zhaotianc文章（3）
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
与rethinking最接近的一篇
当前end2end模型缺陷。无法输出可解释的action，从而人类理解困难。 提出两个模型DI-VAE 和 DI-VST（使用VAE原理），与encoder-decoder一起训练。

---

引用zhaotianc
End-to-End latent-variable task-oriented dialogue system with exact log-likelihood optimization

$p_{\theta }(r_t|s_t,c_t,y_t)$ = ${\sum }_{z_t}{p}_{{\theta }_1}(r_t|s_t,z_t,y_t,c_t){\pi }_{{\theta }_2}(z_t|s_t,U_t)$
实际上我认为就是先生成intent然后生成response，和sequicity的结构没有什么大的不同 。主要创新点在使用unsupervised, semi-supervised and reinforcement learning来优化模型。
和sequicity的不同在于将slot_value转换成latent，而wen2017（LIDM）是先slot_value后latent，
本文结论：
discrete 隐变量比continuous 隐变量效果好，MLE可能比variational inference效果好（with little sacrifice of BLEU）

Rt与LIDM类似，每一句生成之后根据槽值对的变化情况来确定当前reward，

---

Latent Intention Dialogue Models(2017)

其中unsupervised方法：。。

---

A hierarchical latent variable encoder-decoder model for generating dialogues(2016)

训练时，隐变量 zn 从近似后验概率中采样，就是图中虚线；
测试时，隐变量 zn 从先验概率中采样，就是图中实现部分
理论依据：还没读原文，感觉胡诌，