Docker安装
可以看这里 有我的血泪史
运行过程
参考datawhale给的这篇
CUDA安装问题
看这篇血泪史
比赛改进思路
- 修改 calculate_loss.py 改变loss的计算方式,从平衡子任务难度以及各子任务类别样本不均匀入手; 修改 net.py
改变模型的结构,加入attention层,或者其他层; 使用 cleanlab 等工具对训练文本进行清洗;
做文本数据增强,或者在预训练时候用其他数据集pretrain;
对训练好的模型再在完整数据集(包括验证集和训练集)上用小的学习率训练一个epoch;
调整bathSize和a_step,变更梯度累计的程度,当前是batchSize=16,a_step=16; 用
chinese-roberta-wwm-ext 作为预训练模型;