昇思MindSpore技术公开课--Prompt Tuning学习心得

学习笔记：

1. 课程内容总结

本课程涵盖了自然语言处理领域的重要概念和知识点，包括模型发展、自监督学习、预训练模型、Transformer架构、机器翻译、情感分类等内容。以下是课程的主要内容和关键知识点的总结：

模型的发展

• 介绍了自然语言处理模型的演变历程，强调了预训练模型的重要性。
  

自监督学习和预训练模型

• 解释了自监督学习的原理和作用，以及如何通过大规模数据进行预训练。
• 阐述了预训练模型如何通过无监督学习获取语言表示。

Transformer架构

• 详细解释了Transformer架构，包括自注意力机制、多头注意力机制等关键组成部分。

下游任务与微调

• 讨论了如何将预训练模型应用于不同的下游任务，包括机器翻译和情感分类。
• 强调了微调的重要性，以适应特定任务。
  Pre-train + Fine-tune回顾

BERT：Masked LM + NSP，注重文本理解

GPT：auto-regressive model，注重文本生成

Pre-train + Fine-tune面临的问题

Pre-train 与 Fine-tune 间的语义差异

由少样本引发的过拟合