Keras学习:RNN及双向RNN

最新推荐文章于 2024-08-12 20:59:13 发布

小付同学呀

最新推荐文章于 2024-08-12 20:59:13 发布

阅读量565

点赞数 1

分类专栏：模型搭建文章标签： keras rnn 深度学习

本文链接：https://blog.csdn.net/fyfy96/article/details/120659987

版权

模型搭建专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了RNN、LSTM和GRU三种循环神经网络模型，包括它们的结构和参数设置。特别提到LSTM可以使用softsign激活函数替代tanh以减少饱和问题。还探讨了双向RNN的实现，通过wrappers包的Bidirectional模块，以及如何构建多层双向RNN（DBRNN）模型。最后，给出了两种不同结构的双向RNN模型示例。

摘要由CSDN通过智能技术生成

1.RNN：全连接RNN模型

SimpleRNN(Units,activation='tanh',dropout=0.0,recurrent_dropout=0.0, return_sequences=False)

2.LSTN:长短记忆模型

LSTM(units,activation='tanh',dropout=0.0,recurrent_dropout=0.0,return_sequences=False)

对于 LSTM，可使用 softsign（而非 softmax）激活函数替代 tanh（更快且更不容易出现饱和（约 0 梯度））。

3.GRU：门控循环单元

GRU(units,activation='tanh',dropout=0.0,recurrent_dropout=0.0,return_sequences=False)

4.双向RNN

双向RNN包装器

Bidirectional(layer,merge_mode='concat',weights=None)

参数说明：

layer：SimpleRNN、LSTM、GRU等模型结构

merge_mode:前向和后向RNN输出的结合方式，为sum,mul,concat,ave和None之一，若为None，则不结合，以列表形式返回.

BRNN模型

def BRNN():
    model=Sequential()
    model.add(Bidirectional(SimpleRNN(16,return_sequences=True),merge_mode='concat'))
    model.add(Flatten())
    model.add(Dense(1,activation='sigmoid'))
    return model

BRNN模型需要使用wrappers包的Bidirecitional模块实现双向RNN模型，并且要将return_sequences参数设置为True，因为如上文所述需要将前、后向的重要信息拼接起来，所以需要将整个序列返回，而不是只返回最后一个预测词。

DBRNN模型

def DBRNN():
    model=Sequential()
    model.add(Bidirectional(SimpleRNN(16,return_sequences=True),merge_mode='concat'))
    model.add(SimpleRNN(8))
    model.add(Flatten())
    model.add(Dense(1,activation='sigmoid'))
    return model