QA 后续

1.第一步我们需要训练出三个模型：

1.bert-base 2.bert-base-pretrained 3.bert-large 

数据是google challenge的数据,大概有10000条。通过下游任务的学习微调三个基础模型。损失函数是BCEwithlogitsLoss，最终的评价指标是斯皮尔曼相关系数。

以下是训练模型的参数，batch_size为8的情况下，训练5个epochs

2.将基础模型对stack extrange数据进行推断得到伪标签数据

根据validation判断模型对下游任务的适用性，通过五折训练选出最好的model，对多个模型推断出的伪标签进行加权，得到最后的伪标签，有将近10w个伪标签。

我们将stackx exchange预训练后的模型成为SE

3.将多种模型进行比较，包括：

1.SE模型推断google的模型。

2.SE模型训练google+伪代码的模型。

3.roberta-base训练google+伪代码的模型。

4.bart训练google+伪代码的模型。

最终通过比对val，设置权重，对预测值进行blending。