weixin_44487404的博客

Augmenting Knowledge-grounded Conversations with Sequential Knowledge Transition本文针对知识驱动对话任务提出了两个子任务：知识选择/对话生成1.知识选择提出了知识转移的思路，即每轮对话的知识内在也是有联系的做法：Bert编码历史上下文+BiLSTM建立时序信息+CRF对应知识标签这个做法有点像任务型对话中的槽填充，"每个token编码后输出槽位值"的做法->“每轮对话的句编码输出知识标签”。因为知识标签的数

Unsupervised Knowledge Selection for Dialogue Generation这篇论文是微信团队出的一篇，想解决的是没有最佳知识标签（无监督）情况下，对话模型怎么办？具体的就是，1）怎么选出最佳知识2）选出最佳知识解码器怎么好好利用3）选出错误知识解码器怎么降低影响。反思：核心技术点有distance supervision、知识蒸馏方面需要恶补一下。模型架构图，画的有点…还是略过图看原文比较好1.知识选择Selection Query：将历史信息、历史知识、

主动学习研究（2）：论文解读1. 《Learning loss for active learning》（CVPR 2019，oral）本文贡献包括：1）提出了一种简单而有效的主动学习方法，该方法具有损失预测模块，可直接应用于深度网络的任何任务。2）利用现有的网络体系结构，通过分类、回归和混合三个学习任务来评估所提出的方法。损失预测模块的输入为目标模块的中间层提取的多层特征映射，这些多重连接的特征值使得损失预测模块能够有效利用层间的有用信息进行损失预测。首先，通过一个全局平均池（global

论文分享《Robustness Testing of Language Understanding in Task-Oriented Dialog》a.研究背景：现阶段的NLU达到的效果都来源于质量很高的训练集，但是现实生活中存在的噪声/口语表达/话语多样性等情况都会影响最后的NLU结果。因此对于NLU鲁棒性的考察尤为必要。b.研究方法作者从三个方面定义LU鲁棒性：1）语言多样性；2）口语特征；3）噪声干扰为了模拟这三种情况，通过四种方式对原始数据进行增强：（1）单词干扰：token级别的噪音加

概述：主动学习模型从未标注样例集中根据设定的规则挑选高质量样例交由人工标注，低标注成本、高质量样例是优化主动学习算法的主要目标。简而言之，主动学习目的是优先选择最有价值的未标注样本进行人工标注，以尽可能少的标注样本达到模型的预期性能。主动学习算法一般包含2个重要模块:学习模块和选择模块。学习模块本质上就是训练分类器的过程，即通过学习逐渐提高分类器的分类精度与鲁棒性；选择模块的终极目标是生成高质量的训练样例集，以提高样例集的代表性和广泛性。学习模块和选择模块循环交替工作，当满足终止条件时循环终止。

杂记@TOCFAQ是一种常见任务检索的任务，其目标是根据用户的查询从数据库中检索适当的问答(QA)。现阶段主流方法考虑了用户查询(q)和常见问题(Q)之间的相似性以及查询问题(q)和答案(A)之间的相关性。许多FAQ检索模型使用q和QA对之间具有相关性标签的数据集。但是，构造这样的标记数据花费很多。为了减少人工标注的成本并提升模型效果，基于active learning进行最小成本标注，并用life long learning模型解决训练问题。相关工作：FAQ：任务描述: 根据用户的查询q从知识库中

【一】《Effective Utilization of External Knowledge and History Context in Multi-turn Spoken Language Understanding Model》当前语句编码后经过两个部分加工（1）上下文注意模块做法就是当前utterance对context中每一句做attention，得到加权向量（ps：并不求和）。然后把所有向量和当前utterance向量一起送到Blstm中编码出这个模块最终向量（2）知识注意模块

论文总结之任务型对话NLU最近学习了关于任务型对话NLU的一些论文。大致总结了近些年比较经典的学术界的NLU模型。虽然有些方法现在来看比较常见了，但是思想依旧可以有参考价值。像seq2seq、attention、gate机制对于NLU步骤的优化。预训练模型Bert、GPT2的提出以及改进刷榜了各项自然语言处理任务。所以贴上了一篇bert做nlu的baseline文章。另外实验室同门最新研究成果基于bert的改进达到了Sota，还未发表就不贴啦。最后一篇也是实验室师兄关于融入上下文和知识的NLU文章【

11.Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering本篇论文是ACL最新的2019年底完成的一篇论文，主要在融入知识的情况下增加了回复多样性。主要创新点有三个：1）MLP训练后迁移学习2）利用检索对话的方式增强生成式回复多样性3）两步解码现在具体分析下模型：（1）Knowledge-aware Dialogue Encoderpost逐字经过GRU得到隐藏层向量再通过预

pip install 网上的包有时候非常慢用anaconda也是。sklearn作为深度学习几乎必用包，本身也属于比较大的包类型。以下是手动下载和安装步骤：一、从GitHub上下载：选择releases，里面会看到一系列版本的包，选择自己电脑对应的型号，点击下载。我选择的是scikit_learn-0.23.1-cp37-cp37m-win_amd64二、将下载下来的包放到本地，任意哪里都行（推荐用下载器比如迅雷、网页浏览器下载很慢）。三、打开Pyacharm，在在Terminal里输入

8.Exploiting Persona Information for Diverse Generation of Conversational Responses本模型主要特点在于中间变量z的训练，这里涉及到的数学知识见https://zhuanlan.zhihu.com/p/26898768其他的特点，就在于用性格编码，跟情感、关键词等思想差不多。主要有两大步：第一步即对性格文本和上下文（1）将每一个性格文本编码成空间向量和上下文向量做softmax得到匹配权重。然后将性格文本再做处理和匹

基于生成：1.A Working Memory Model for Task-oriented Dialog Response Generation没看太懂，主要领会下思想，细节并没有细讲，作者说在补充文档里。（1）将对话历史信息用类似transformer的方法编码。得到Ok（2）E-MemNN：对话历史写进来（具体咋写也没说）（3）S-MemNN：将知识库的三元组写进（4）开始解...

萌新小白，疫情期间对所读论文的一点小总结基于检索的问答论文总结1.ReCoSa: Detecting the Relevant Contexts with Self-Attention forMulti-turn Dialogue Generation（1）所有context做一次自我注意力（2）本次response做一次自我注意力（3）context representation...