本周的一些总结与遇到的问题

本周主要是学习了三胞胎网络模型和match_sum的模型

01 三胞胎的模型，主要是根据多分类任务，分为positive、negative、achor三种类型。其中potive和achor来自同一类别，negative来自其它类别。得到对应类别的数据后，分别根据预训练模型（bert、robert等）得到最后一层的输出。构建loss。loss的思想是让postive和achor离得更近、让negative和achor里的更远，然后potive和achor的距离和negative和achor的距离相减，然后加一个调和项。相减是为了间隔之间更大。

主要的意义是用三者的关系，构建loss，取代了之前的用标签。在无监督领域开拓了一定的思路。

遇到的问题是：还不太明白三胞胎模型是为了解决什么问题，之后还得多看看论文的说明。

02 match_sum

match_sum的模型是根据原文的document、根据bert_sum得到的canditate的句子，以及标签总结的summary的思路，借鉴了孪生网络模型，从语义的层面构建选出最合理的summary。

其中根据candidate分为sentence-level和summary-level两个维度，判断如何选择document的句子。其中根据计算可以得到pearly-summary和best_summary。pearly-summary指的是canditate之间比较，sentence-level的得分较低，但是best_summary的分数较高。单看这个句子不重要、但是从整个文本角度来看，这个句子是重要的。best_summary指的是候选句子中，分数最高的那一个。作者根据6个不同领域标准数据集，根据best_summary和pearly-summary的选择。

根据作者的实验，发现抽取往往在sentence-level上的表现不明显，所以忽略了句子级别的影响。

 

遇到的问题：

01 不太确定的是pearly-summary和best_summary都是从整体的角度选择是否要选择哪个句子？

02 没看明白document、canditate、summary这三个数据集是如何构建的？