师姐论文阅读（存档，别看）

摘要：

本文主要工作如下：
1）gml问句匹配算法方案，
2）三种类型特征的提取思路：
1、基于 DNN 的关系特征(robert)
2、相似度特征(bert)
3、基于 TF-IDF 模型的关键词(token)特征(非参数化）
3）数据集： LCQMC 、 BQ corpus 进行检测

Gml框架：

1）简单实例标注：training数据全是简单实例
2）特征提取和影响力建模：根据简单实例和困难实例的关系构建因子图
3）渐进推理：最终的学习推理部分。思路：获取已标注问句对的标签，根据简单和困难实例之间的联系推导困难实例的标签。

因子图：

1）概念：

2）因子图学习：
已知条件中有x1,x3的概率分布，f1, f2 的函数形式，求解 x2 的概率分布。第一步需要先计算总体的联合概率分布，在图中即为f1, f2 表达式的乘积，对于因子的表达式，虽然函数形式已知，但仍需要参数来刻画因子在推理过程中的权重，具体的参数需要通过学习来拟合确定；第二步以上述信息为基础，推理隐变量的分布信息。
（已知事实结果，反推参数）——EM算法

Q(z)：后验分布
L(θ，θn)：最大似然估计

4）因子图推理：（待补充）
获得联合概率分布后获得边缘概率分布。
推理方法：
近似推理——采样法、变分推断法
精确推理——变量消元法、信念传播法

特征提取

1）全局特征：相似度特征（bert）
两问句输入BERT，获得的相似度
2）局部特征：关系特征（Roberta）
DNN提取问句对向量表示，将问句对的向量表征映射在向量空间中，对于每个困难实例（测试集的问句对），k 近邻算法选取和其距离最近的 k 个实例（包含简单实例和困难实例）记录下来，作为后续影响力建模的输入内容。
（数据特点：文本长度短，意向明确）
3）关键词特征：
提取关键词：
1、 jieba 对所有问句分词，停用词库滤掉无意义词汇， 再 TF-IDF 方法分别计算问句中每个词汇的重要程度；
2、获得了训练集和测试集中所有词汇 TF-IDF 值后，由大到小排序并截取前 n 个词汇，组成该实验数据集的关键词词库，如表 3-4 所示。
3、进行到这一步，其实已经获取到了初步的问句特征信息，可以直接用于后续的影响力建模步骤。

单现和共现：
共现：两个句子都包含同一类别的关键词；（同类）-》正向支持
单现：仅有一个问句包含某一类别的关键词-》负向支持
（单个关键词以聚合后的词集合形式加入因子图，Roberta）

影响力建模

表现不同特征在最终共同推理阶段如何发挥作用。
因子-》特征
单因子：仅关联一个实例；关键词因子
双因子：关联两个实例；相似度因子
影响力：因子函数

三种因子函数（待补）

渐进推理：