PaddleNLP系列1-基础知识

单塔，query和title进行拼接输入到同一个模型

单塔 Point-wise 范式，不引入负样本

基于单塔 Point-wise 范式的语义匹配模型 ernie_matching: 模型精度高、计算复杂度高, 适合直接进行语义匹配 2 分类的应用场景。

单塔 Pair-wise 范式，引入同一批次的负样本，正例更近，负例更远

基于单塔 Pair-wise 范式的语义匹配模型 ernie_matching: 模型精度高、计算复杂度高, 对文本相似度大小的序关系建模能力更强，适合将相似度特征作为上层排序模块输入特征的应用场景。

双塔，query和title不拼接，分布单独输入到同一个模型

双塔 Point-wise 范式，不引入负样本

基于双塔 Point-wise 范式的语义匹配模型 SimNet 和 Sentence Transformers, 这 2 种方案计算效率更高，适合对延时要求高、根据语义相似度进行粗排的应用场景。

双塔 Pair-wise 范式，引入同一批次的负样本，正例更近，负例更远

Baseline 46.99 60.84 标准 pair-wise 训练范式，通过随机采样产生负样本
In-batch negatives 51.20(+4.21) 67.24(+6.4) 在 Batch 内同时使用 batch_size 个负样本进行训练
HardestNeg 50.22(+3.23) 65.17(+4.33)
在 Batch 内先挖掘最难负样本，然后进行 pair-wise 训练

BERT的输出，本身就有归一化