Datawhale Al夏令营第三期 AI+物质科学task3学习笔记

Transformer

在机器学习中，Transformer 是一种基于注意力机制的深度学习模型，特别适用于处理序列数据，尤其是在自然语言处理（NLP）领域中取得了显著的成就。Transformer 最初由Vaswani等人在2017年的论文《Attention is All You Need》中提出，并已经成为现代NLP模型的主流架构之一。

主要特点和组成部分：

1. 自注意力机制（Self-Attention Mechanism）：是Transformer 的核心，它允许模型在处理序列数据时对不同位置的输入进行加权处理，而无需依赖于序列顺序。这种机制使得Transformer能够并行处理输入数据，大大提高了训练和推理的效率。

2. 编码器-解码器架构（Encoder-Decoder Architecture）：是Transformer的架构， 。编码器负责将输入序列转换为隐藏表示，解码器则将该隐藏表示解码为输出序列。这种结构广泛用于机器翻译和其他序列到序列（Seq2Seq）任务。

3. 位置编码（Positional Encoding）：为模型提供输入序列中每个元素的位置信息（因为Transformer没有显式的序列顺序信息）。常见的位置编码方式包括正弦和余弦函数。

4. 多头注意力机制（Multi-Head Attention）：为了增强模型对不同位置和特征的关注能力，它允许模型同时在不同表示子空间中进行自注意力计算，从而更好地捕捉输入序列的不同依赖关系。

5. 前馈神经网络（Feedforward Neural Network）：在每个注意力子层之后，Transformer 使用了具有两个线性层和一个激活函数（通常是ReLU）的前馈神经网络。这种结构有助于每个位置独立地处理和转换隐藏表示。