Gavin老师Transformer直播课感悟 - 基于Retrieval的具有Fine-grained架构的对话系统(四）

        本文继续围绕基于Retrieval的具有Fine-grained架构的对话系统这篇论文来进一步分析关于BERT-FP(即BERT Fine-grained Post-training的缩写)模型在各种试验条件下的表现及背后的机制。

5. 进一步分析

5.1 基于不同长度的”short context”的训练表现

        通常情况下，对于一个对话session中的一个response来说，与这个response相近的utterances之间的连贯性会更强，而与这个response距离较远的utterances之间的连贯性会变弱，基于这样的假设，下面通过试验来进行验证。此外，对于一个数据集来说比较适合的context 的长度，对于另外一个数据集可能并不适用，所以需要根据数据集的具体情况来调整context的长度，譬如下面图中的short context，可以看出它是由三句话(即3个utterance)组成：

-It says that …

-How do I …

-Open a …

下图显示了BERT-FP模型基于不同长度的”short context”训练之后的表现差异：

在试验中，使用训练数据集的10%的数据来训练模型，然后使用整个测试数据集来评价模型的表现，为此进行了很多次试验，由于只使用了10%的数据，所以训练表现较差，如第1个图里，最好的值为0.839。从结果看，对于Ubuntu和E-commerce数据集，当设定context长度为3时，获得了R10@1的最佳表现。对于Douban数据集，使用MAP(mean average precision)而不是R10@1，这是因为在候选的responses中可能会存在多个正确的responses。对于Douban数据集来说，当设定context长度为2时，MAP的表现最佳。

5.2 基于训练目标的模型表现

        通过试验对比了URC(Utterance Relevance Classification)和NSP，SOP的表现，下表最后一行就是BERT-FP模型以URC作为训练目标获得的表现，可以看出在三个评价指标里都是表现最好的，这就表明了模型同时学习对话内部话语之间的topic相关性和话语连贯性的重要性：

5.3 更进一步的研究

        通过基于Ubuntu数据集的一系列深入的试验来分析fine-grained post-training这种方式中各个部分对训练结果的影响。如下表所示，使用没有post-training的BERT模型作为基准，逐步应用+MLM，+MLM+NSP等组件进行post training试验：

+MLM: 表示模型只使用MLM来进行post training

+MLM+NSP: 表示模型同时使用MLM和NSP来进行post training

+MLM+NSP_SCP: 表示模型同时使用MLM和NSP来进行post training，这里的”SCR”后缀表示模型是使用short context-response pair进行post training的

+MLM+URC_SCP: 表示模型同时使用MLM和URC来进行post training，这里的”SCR”后缀表示模型是使用short context-response pair进行post training的

从试验结果看，+MLM和+MLM+NSP之间的差异很小，说明NSP在post-training条件下对模型表现的影响很小，如果再对比+MLM和+MLM+NSP_SCR，会发现NSP和SCR结合使用会给模型表现带来很大的提升，试验结果也表明了使用了URC来代替NSP的模型，即BERT-FP模型的表现在三个指标里都是最好的：

5.4 关于数据增强技术的比较

        数据增强技术在使用小数据训练大模型时尤为重要，在有限数据的情况下，可以考虑如何对数据进行排列组合，另外BERT-FP使用了如[EOU]这样的token来标记用户话语，使用更多的token对于数据增强还是逻辑的精细控制方面都提供了更多的空间，从语言理解层面看也是增加了区分度。如果对话数据量较大，可以使用Faiss这样的框架，为vector提供高效的相似度搜索和聚类，这个框架支持十亿级别的vector的搜索。BERT-FP模型所使用的post-training方法会有数据增强的效果，然而，这种数据增强不同于通常意义上在fine-tuning这一步使用的数据增强方法，基于Ubuntu数据集对BERT-FP使用的方式和典型的数据增强方式（BERT-DA）进行了对比，在BERT-FP里，是把每个话语都看做是一个response，而把它之前的相邻的k个话语作为这个response的上下文(context)，所以需要注意的是，这里的response可能是系统的utterance，也可能是用户的utterance，这样才能更好地对对话session内部话语(utterances)之间的连贯性进行分析。试验结果表明，采用BERT-FP模型提出的这种方法（包括post-training和fine-tuning），训练速度大约是BERT-DA的2.5倍，特别是BERT-FP在fine-tuning上花费的时间比BERT-DA少很多，这样就可以使模型更容易适配各种任务：

5.5 Fine-grained post-training对于系统响应选择任务的有效性

        为了论证使用fine-grained post-training这种方式对于系统响应选择任务的有效性，对三种不同的模型BERT，BERT-FP，BERT-FP-NF（没有fine-tuning这个步骤）进行了对比试验，试验结果如下表所示，BERT-FP-NF的表现接近于BERT-FP的表现，后者进行了微调(fine-tuning)。试验结果表明，即使在对系统响应选择任务进行微调之前，BERT-FP模型运用fine-grained post-training能够对context和response之间的匹配度进行预测。

6. 结论

        通过使用这种新的fine-grained post-training方式，能够适应多轮对话的特点，这种方式可以帮助模型学习到对话中的语义相关性和话语的连贯性，从而提升模型做出正确响应的能力。