文章目录
一、Stacked RNN(多层RNN)
from keras.models import Sequential
from keras.layers import LSTM,Embedding,Dense
# 设置超参数
vocabulary = 10000 # 词典里面有10000个词汇
embedding_dim=32 # shape(x)=32,词向量x的维度为32
word_num = 500 # 每个电影评论有500个单词,如果超过500个单词,就会被截掉;如果不到500,就会补够。
state_dim =32 # shape(h) = 32,状态向量h的维度为32
# 开始搭建网络
model = Sequential() # 建立Sequential()模型
# 往model里面加层,Embedding层,把词映射成向量
model.add(Embedding(vocabulary,embedding_dim,input_length=word_num))
# 需要指定状态向量h的维度,设置RNN层的return_sequences=False,表示RNN只输出最后一个状态向量h,把之前的状态向量舍去
model.add(LSTM(state_dim,return_sequences=True,dropout=0.2))
model.add(LSTM(state_dim,return_sequences=True,dropout=0.2))
model.add(LSTM(state_dim,return_sequences=False,dropout=0.2))
# 全连接层,输入RNN的最后一个状态h,输出0-1之间的数
model.add(Dense(1, activation="sigmoid"))
model.summary()
二、Bidirectional RNN(双向RNN)
- 训练两条RNN,一条从左往右,另一条从右往左。
- 两条RNN是独立的,不共享参数,也不共享状态
- 两条RNN各自输出自己的状态向量,然后把他们的状态向量进行合并,计作向量y。
from keras.models import Sequential
from keras.layers import LSTM,Embedding,Dense,Bidirectional
# 设置超参数
vocabulary = 10000 # 词典里面有10000个词汇
embedding_dim=32 # shape(x)=32,词向量x的维度为32
word_num = 500 # 每个电影评论有500个单词,如果超过500个单词,就会被截掉;如果不到500,就会补够。
state_dim =32 # shape(h) = 32,状态向量h的维度为32
# 开始搭建网络
model = Sequential() # 建立Sequential()模型
# 往model里面加层,Embedding层,把词映射成向量
model.add(Embedding(vocabulary,embedding_dim,input_length=word_num))
# 需要指定状态向量h的维度,设置RNN层的return_sequences=False,保留两条链最后的状态,把之前的状态向量舍去
model.add(Bidirectional(LSTM(state_dim,return_sequences=False,dropout=0.2)))
# 全连接层,输入RNN的最后一个状态h,输出0-1之间的数
model.add(Dense(1, activation="sigmoid"))
model.summary()
三、Pretrain(预训练)
预训练在深度学习中非常常用:比如在训练卷积神经网络的时候,如果网络太大而训练集不够大,那么可以先在大数据上做预训练,这样可以让神经网络有比较好的初始化,也可以避免过拟合。
Observation: The embedding layer contributes most of the parameters!
有320000个参数,而我们只有20000个训练样本,这个embedding layer太大,导致模型过拟合。
解决办法:对embedding layer层做预训练。
3.1 Pretrain the Embedding Layer
第一步,首先找一个更大的数据集,可以是情感分析的数据,也可以是其它类型的数据,但是任务最好是接近情感分析的任务,最好是学出来的词向量带有正面或者负面的情感,两个任务越相似,预训练之后的transformer就会越好,有了大数据集之后要搭建一个神经网络,这个神经网络是什么样的结构都可以(可以不用是RNN,只要这个神经网络有Embedding layer),然后在这个大数据集上训练神经网络。
第二步,训练好之后,把上面的层全部丢弃,只保留Embedding Layer和训练好的模型参数。
第三步,搭建自己的RNN网络,这个新的RNN网络跟之前预训练的可以有不同的结构。搭建好之后,新的RNN层和全连接层都是随机初始化,而Embedding Layer的参数是预训练出来的,要把Embedding Layer的参数固定住,不训练这个Embedding Layer,只训练其它的层。
四、Summary(总结)
- SimpleRNN and LSTM are two kinds of RNNs; always use LSTM instead of SimpleRNN.
- Use Bi-RNN instead of RNN whenever possible.
- Stacked RNN may be better than a single RNN layer (if n is big).
- Pretrain the embedding layer (if n is small). 如果训练数据较小,在大数据集上预训练