1、学习了transformer模型架构,
transformer模型— 20道面试题自我检测_transformer面试题-CSDN博客
2、根据提供的上分技巧进行调试,将 epochs 调大一点,使用全部训练集,以及调整模型的参数,如head、layers等。如果数据量允许,增加模型的深度(更多的编码器/解码器层)或宽度(更大的隐藏层尺寸)。
1、学习了transformer模型架构,
transformer模型— 20道面试题自我检测_transformer面试题-CSDN博客
2、根据提供的上分技巧进行调试,将 epochs 调大一点,使用全部训练集,以及调整模型的参数,如head、layers等。如果数据量允许,增加模型的深度(更多的编码器/解码器层)或宽度(更大的隐藏层尺寸)。