Transformer模型：RNN长期依赖问题的革命性解决方案_transformer模型长距离依赖-CSDN博客

本文链接：https://blog.csdn.net/2401_85760095/article/details/140128253

🌌 Transformer模型：RNN长期依赖问题的革命性解决方案

在自然语言处理（NLP）的历史上，递归神经网络（RNN）及其变种，如长短时记忆网络（LSTM）和门控循环单元（GRU），一直是处理序列数据的主力。然而，这些模型在处理长距离依赖问题时常常力不从心。Transformer模型的出现，以其独特的自注意力机制，为这一难题提供了优雅的解决方案。本文将详细解释Transformer模型如何克服RNN的局限，并提供代码示例，展示其在实际应用中的强大能力。

🚀 RNN长期依赖问题的挑战

RNN通过循环结构处理序列数据，理论上能够捕捉到任意长度的依赖关系。但在实践中，它们通常难以学习到长期依赖，这是因为：

梯度消失或爆炸：在长序列中，梯度可能会随着时间步的增加而迅速减小或增大，导致训练困难。
参数共享：RNN在每个时间步使用相同的权重，限制了其学习能力。

🌟 Transformer模型的创新之处

Transformer模型完全摒弃了RNN结构，采用以下关键技术解决长期依赖问题：

自注意力机制：允许模型在每个时间步直接计算序列中任意两个位置之间的关联，无论它们之间的距离有多远。
并行化处理：由于自注意力机制不依赖于序列中的位置顺序，整个序列可以并行处理，大大提高了训练效率。
位置编码：通过向输入嵌入添加位置编码，模型能够捕捉单词的顺序信息。

🔍 Transformer模型的核心组件

自注意力层

自注意力层通过计算输入序列中每个元素对其他所有元素的注意力权重，生成输出序列。

import torch
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, embed_size, heads):
        super(MultiHeadAttention, self).__init__()
        self.embed_size = embed_size
        self.heads = heads
        self.head_dim = embed_size // heads

        self.values = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.keys = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.queries = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.fc_out = nn.Linear(heads * self.head_dim, embed_size)

    def forward(self, values, keys, query, mask):
        N = query.shape[0]
        value_len, key_len, query_len = values.shape[1], keys.shape[1], query.shape[1]

        # Split the embedding into self.heads different pieces
        values = values.reshape(N, value_len, self.heads, self.head_dim)
        keys = keys.reshape(N, key_len, self.heads, self.head_dim)
        queries = query.reshape(N, query_len, self.heads, self.head_dim)

        values = self.values(values)
        keys = self.keys(keys)
        queries = self.queries(queries)

        energy = torch.einsum("nqhd,nkhd->nhqk", [queries, keys])
        if mask is not None:
            energy = energy.masked_fill(mask == 0, float("-1e20"))

        attention = torch.softmax(energy / (self.embed_size ** (1 / 2)), dim=3)
        out = torch.einsum("nhql,nlhd->nqhd", [attention, values]).reshape(N, query_len, self.heads * self.head_dim)
        out = self.fc_out(out)
        return out

位置编码

位置编码通常使用正弦和余弦函数为每个位置赋予独特的编码。

def position_encoding(max_len, d_model):
    pe = torch.zeros(max_len, d_model)
    for pos in range(max_len):
        for i in range(0, d_model, 2):
            pe[pos, i] = torch.sin(pos / (10000 ** ((2 * i) / d_model)))
            pe[pos, i + 1] = torch.cos(pos / (10000 ** ((2 * (i + 1)) / d_model)))
    return pe

前馈网络

Transformer模型在自注意力层之后使用前馈网络进一步处理信息。

class FeedForwardNetwork(nn.Module):
    def __init__(self, d_model, d_ff, dropout=0.1):
        super(FeedForwardNetwork, self).__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.dropout = nn.Dropout(dropout)
        self.relu = nn.ReLU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.dropout(self.relu(self.linear1(x))))