程序员学长 | 当 LSTM 遇上 Attention

本文来源公众号“程序员学长”，仅用于学术分享，侵权删，干货满满。

原文链接：当 LSTM 遇上 Attention

今天我们一起来聊一下深度学习中的注意力（Attention）机制

注意力机制是深度学习中引入的一种技术，特别适用于序列到序列的任务（Sequence to Sequence，Seq2Seq）。通过引入注意力机制，Seq2Seq 模型能够在解码每个时间步时，动态地选择和关注输入序列中的不同部分，从而更好地捕捉输入序列的全局信息。

在讨论注意力机制之前，我们先来了解一下 Seq2Seq 模型。

Seq2Seq

序列到序列（Seq2Seq）模型是一种深度学习架构，广泛应用于将一个序列数据转换为另一个序列数据的任务中，例如机器翻译、自动问答、语音识别等。这种模型特别适用于输入序列和输出序列长度不固定的情况。

基本结构

序列到序列模型通常由两部分组成：编码器（Encoder）和解码器（Decoder）。

1. 编码器

   编码器的作用是接受输入序列，并将其转换成一个固定大小的状态向量（通常称为上下文向量）。这个向量旨在捕捉输入序列的关键信息。

   在实现上，编码器通常是一个循环神经网络（RNN）或其变体，如长短期记忆网络（LSTM）或门控循环单元（GRU）。

   关于 RNN、LSTM 以及 GRU 可以参考如下文章：程序员学长 | 快速学会一个算法，RNN-CSDN博客和程序员学长 | 快速学会一个算法模型，LSTM-CSDN博客。

1. 解码器

   解码器的任务是将编码器生成的状态向量转换为输出序列。它从编码器传递的上下文向量开始生成输出，并逐步生成输出序列中的每个元素。

   解码器通常也是基于RNN、LSTM或GRU构建的，它在生成每个输出元素时会参考前一个元素的输出，以及编码器的上下文向量。

工作流程