@Datawhale AI 物质科学task3 打卡笔记

此笔记为物质科学task3打卡笔记，在Task2中，我们的任务是了解Transformer并使用Transformer建模SMILES。

Transformer 模型是一种深度学习架构，自 2017 年推出以来，彻底改变了自然语言处理 (NLP) 领域。该模型由 Vaswani 等人提出，并已成为 NLP 界最具影响力的模型之一。Transformer 模型通过自注意力机制和并行计算的优势，能够更好地处理长距离依赖关系，提高了模型的训练和推理效率。它在机器翻译、文本摘要、问答系统等多个 NLP 任务中取得了显著的性能提升。

本task几种提分思路

1.调整epoch：我们可以提高epoch，epoch越大，一般拟合效果会越好，但是会花更多时间，也有可能出现过拟合情况

2.调整模型大小：我们可以调整中间向量的维度、模型得层数、注意力头的个数。一般模型越大学习能力越强，但可能出现过拟合情况

3.数据：对数据做清洗，调整数据分布，做数据增广。

本次task遇到的问题

oss_in_a_epoch在被赋值前调用，将scheduler.step(loss_in_a_epoch)放置loss_in_a_epoch后即可解决reference问题