1.第一步我们需要训练出三个模型:
1.bert-base 2.bert-base-pretrained 3.bert-large
数据是google challenge的数据,大概有10000条。通过下游任务的学习微调三个基础模型。损失函数是BCEwithlogitsLoss,最终的评价指标是斯皮尔曼相关系数。
以下是训练模型的参数,batch_size为8的情况下,训练5个epochs
2.将基础模型对stack extrange数据进行推断得到伪标签数据
根据validation判断模型对下游任务的适用性,通过五折训练选出最好的model,对多个模型推断出的伪标签进行加权,得到最后的伪标签,有将近10w个伪标签。
我们将stackx exchange预训练后的模型成为SE
3.将多种模型进行比较,包括:
1.SE模型推断google的模型。
2.SE模型训练google+伪代码的模型。
3.roberta-base训练google+伪代码的模型。
4.bart训练google+伪代码的模型。
最终通过比对val,设置权重,对预测值进行blending。