Datawhale AI 夏令营（NLP方向）

一、前置知识

Transformer:Transformer模型是一种基于自注意力机制（Self-Attention Mechanism）的深度学习模型，最初由Google的研究团队在2017年提出，主要用于处理自然语言处理（NLP）任务，如机器翻译、文本生成、语言理解等。Transformer模型的出现彻底改变了NLP领域的格局，其重要性堪比计算机视觉领域的卷积神经网络（CNN）。

二、关于task3的增分建议

a.数据清洗

b.数据回译（用deepl来进行回译）

c.加入学习周期衰减公式，让学习率与模型训练自动相适应

d.尽量N值大，batch_size适当大小即可

e.可以将训练好的旧模型多迭代，有助于提分

三、个人感悟

这期的datawhale AI 夏令营结束了，这段时间收获满满，学习到了很多新知识，认识到了很多很厉害学长，非常感谢此次夏令营给予的平台与机会。在这期间为了不断提高模型的得分，不停地尝试各种方案，锻炼了自己的学习能力和磨练了自己的意志，再次在这里非常地感谢datawhale AI 夏令营。这是个不错的夏令营，希望下次还有机会继续在里面磨练自己。最后，送自己一句话，路漫漫其修远兮，吾将上下而求索！！