机器学习-循环神经网络LSTM实战(三)

上一篇文章介绍了LSTM的相关基础知识,大家认真阅读后再来看实战会有较好的效果

机器学习-循环神经网络LSTM理论知识(三)


目录

1.数据处理:

2.构建输入数据:

3.数据集的构建:

4.自定义模型类MyRNN:

5.主函数:


1.数据处理:

batchsz = 128 # 批量大小
total_words = 10000 # 词汇表大小N_vocab
max_review_len = 80 # 句子最大长度s,大于的句子部分将截断,小于的将填充
embedding_len = 100 # 词向量特征长度f
# 加载IMDB数据集,此处的数据采用数字编码,一个数字代表一个单词
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=total_words)
print(x_train.shape, len(x_train[0]), y_train.shape)
print(x_test.shape, len(x_test[0]), y_test.shape)
x_train[0]
# 数字编码表
word_index = keras.datasets.imdb.get_word_index()
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0 #填充标志
word_index["<START>"] = 1 #起始标志
word_index["<UNK>"] = 2  # 未知单词标志
word_index["<UNUSED>"] = 3 #暂未使用
# 翻转编码表
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])

此处LSTM仍然使用IMDB数据集,直接下载即可。

词汇表的大小为10000,即可以识别不同的10000个单词。设置句子最大长度为80,截断与填充后面有函数实现,到后面再讲。此处的重点是数据的编码表,如果你查看编码表会发现是以单词为索引,值为数字ID,和我们预期的不符;我们需要的是以ID为索引,以单词为值,并为id添加特殊的标志位。


2.构建输入数据:

def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])

我们可以通过该函数将以数字编码的句子转化为字符串数据。


3.数据集的构建:

x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=max_review_len)
x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=max_review_len)

db_train = tf.data.Dataset.from_tensor_slices((x_train, y_train))
db_train = db_train.shuffle(1000).batch(batchsz, drop_remainder=True)
db_test = tf.data.Dataset.from_tensor_slices((x_test, y_test))
db_test = db_test.batch(batchsz, drop_remainder=True)
print('x_train shape:', x_train.shape, tf.reduce_max(y_train), tf.reduce_min(y_train))
print('x_test shape:', x_test.shape)

已经在上面因如果数据集,这里对数据集进行优化,便于后面使用。截断和填充句子,使句子都等长,长句子保留后面的,短句子在前面填充。训练集和测试集都进行同样的操作,并将其都变为数据集对象,打乱;进行分批处理要注意drop_remainder,为true的时候表示丢掉最后一个分批,因为它的大小会小于正常分批大小。



4.自定义模型类MyRNN:

class MyRNN(keras.Model):
    # Cell方式构建多层网络
    def __init__(self, units):
        super(MyRNN, self).__init__() 
        # 词向量编码 [b, 80] => [b, 80, 100]
        self.embedding = layers.Embedding(total_words, embedding_len,
                                          input_length=max_review_len)
        # 构建RNN
        self.rnn = keras.Sequential([
            layers.LSTM(units, dropout=0.5, return_sequences=True),
            layers.LSTM(units, dropout=0.5)
        ])
        # 构建分类网络,用于将CELL的输出特征进行分类,2分类
        # [b, 80, 100] => [b, 64] => [b, 1]
        self.outlayer = Sequential([
        	layers.Dense(32),
        	layers.Dropout(rate=0.5),
        	layers.ReLU(),
        	layers.Dense(1)])

对多层网络进行构建,最先是enbedding层,目的是实现单词的向量化,设定单词向量长度为100,因此经过embedding层后输出为[批,80,100]。

接着构建RNN网络:此处直接使用LSTM,在内部实现多层Cell。units是经过RNN变换后的单词向量长度,设置dropout是防止过拟合,return_sequences为true表明中间层的输出也要输出出来,末层直接作为整个网络的输出了。最终输出为[批,units]。

在这里简单介绍一下dropout:是为了防止过拟合而出现的,它可以作为一个单独的层而出现,具体内容为:在训练的时候有p的概率断开某条连接,以减少实际参与计算的模型数量,而在最终的测试时不予断开,以最好的性能性能参与测试。如此一来可以减少过拟合,提高泛化能力。个人觉得dropout层是为了对神经网络进行优化,而不是必不可少的。

情感分类是一个二分类问题,因此最终经过全连接层只要一个输出就行。
 

    def call(self, inputs, training=None):
        x = inputs # [b, 80]
        # embedding: [b, 80] => [b, 80, 100]
        x = self.embedding(x)
        # rnn cell compute,[b, 80, 100] => [b, 64]
        x = self.rnn(x)
        # 末层最后一个输出作为分类网络的输入: [b, 64] => [b, 1]
        x = self.outlayer(x,training)
        # p(y is pos|x)
        prob = tf.sigmoid(x)

        return prob

embedding层规定输入长度为80,并且我们之前对数据集进行了长度规定,因此输入就是[批,80],经过embedding层变为[批,80,100],经过两次RNN得到[批,64],经过全连接层得到输入了一个training,表示是训练集,dropout起作用,输出为[批,1]。最终输出经过sigmoid函数激活得到概率。

大家在学习神经网络相关内容时要注意每层输入是什么形状,输出是什么形状的,这至关重要。

关于LSTMCell的基本内容和SimpleCell类似,只不过封装函数改变了,原理并未改变,甚至包括后续的GRUCell,在原理上都是类似的,大家要学习的是不同方法的具体内涵与思想。

有关Cell的讲解与介绍参照

机器学习-循环神经网络情感分类问题(二)_weixin_46737548的博客-CSDN博客



5.主函数:

def main():
    units = 32 # RNN状态向量长度f
    epochs = 50 # 训练epochs

    model = MyRNN(units)
    # 装配
    model.compile(optimizer = optimizers.Adam(0.001),
                  loss = losses.BinaryCrossentropy(),
                  metrics=['accuracy'])
    # 训练和验证
    model.fit(db_train, epochs=epochs, validation_data=db_test)
    # 测试
    model.evaluate(db_test)


if __name__ == '__main__':
    main()

给定RNN状态向量长度,训练轮次数。compile()表示装配过程:函数指定网络使用的优化器对象、损失函数类型,评价指标等。模型装配完成后,即可通过 fit()函数送入待训练的数据集和验证用的数据集,这一步称为模型训练。evaluate():模型测试,测试在 db_test 上的性能表现.
 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习是一种机器学习的方法论,通过构建多神经网络,可以从大量数据中学习并理解复杂的模式和关系。RNN(循环神经网络)和LSTM(长短期记忆网络)是深度学习中常用的一类神经网络结构,特别适用于处理序列数据。 唐诗是中国文学的瑰宝,具有深厚的文化底蕴和艺术价值。利用深度学习中的RNN和LSTM网络原理,我们可以构建一个模型,通过学习唐诗的序列数据,实现自动生成新的唐诗。 首先,我们需要收集大量的唐诗作品作为训练数据。这些数据将被用作模型的输入,通过多的RNN和LSTM网络逐字逐词地学习唐诗的结构和语法规律。神经网络将学习到不同的词汇和诗句的概率分布,并根据概率分布生成新的唐诗。 在训练过程中,我们可以使用反向传播算法来调整神经网络的参数,以最大限度地提高生成唐诗的质量。可以通过设置合适的超参数,例如学习率和迭代次数,来优化模型的性能。 通过进一步优化模型,我们可以使生成的唐诗更具有创新性和独特性。例如,可以引入一些文学规则和约束,以保证生成的唐诗符合一定的文学规范。此外,还可以加入一些外部的条件信息,如主题或情感,来指导生成唐诗的内容。 将这一深度学习实战项目制作成视频课程,有助于学习者理解和掌握深度学习中的RNN和LSTM网络原理。通过实际的代码演示和案例讲解,学习者可以亲自动手实践,培养实战能力。同时,视频课程还可以提供一些调优技巧和经验分享,帮助学习者在实际应用中取得良好的效果。 这个项目不仅有助于学习者的技术提升,也为文学创作提供了一种新的方式。通过深度学习生成的唐诗可以为文学创作者提供灵感和思路,也可以作为艺术创作的一种实验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值