seq2seq 的 keras 实现

最新推荐文章于 2024-01-05 22:25:18 发布

Alice熹爱学习

最新推荐文章于 2024-01-05 22:25:18 发布

阅读量1w

点赞数 3

分类专栏： DeepLearning

本文链接：https://blog.csdn.net/aliceyangxi1987/article/details/73420283

版权

本文介绍了如何使用 Keras 构建 seq2seq 模型，包括 Encoder 和 Decoder 的设置，以及如何使用 LSTM 和 GRU 作为 RNN 单元。还提到了简单的 seq2seq 结构，以及深度 seq2seq 模型，同时对比了不同论文中的 seq2seq 模型实现，如加入注意力机制的情况。

摘要由CSDN通过智能技术生成

上一篇 seq2seq 入门提到了 cho 和 Sutskever 的两篇论文，今天来看一下如何用 keras 建立 seq2seq。

第一个 LSTM 为 Encoder，只在序列结束时输出一个语义向量，所以其 “return_sequences” 参数设置为 “False”

使用 “RepeatVector” 将 Encoder 的输出(最后一个 time step)复制 N 份作为 Decoder 的 N 次输入

第二个 LSTM 为 Decoder，因为在每一个 time step 都输出，所以其 “return_sequences” 参数设置为 “True”

from keras.models import Sequential
from keras.layers.recurrent import LSTM
from keras.layers.wrappers import TimeDistributed
from keras.layers.core import Dense, RepeatVector

def build_model(input_size, max_out_seq_len, hidden_size):

    model = Sequential()

    # Encoder(第一个 LSTM)     model.add( LSTM(input_dim=input_size, output_dim=hidden_size, return_sequences=False) )


    model.add( Dense(hidden_size, activation="relu") )

    # 使用 "RepeatVector" 将 Encoder 的输出(最后一个 time step)复制 N 份作为 Decoder 的 N 次输入
    model.add( RepeatVector(max_out_seq_len) )

    # D