RNN和LSTM初级配方炼丹对比实验（Keras）

最新推荐文章于 2023-10-15 23:21:25 发布
最新推荐文章于 2023-10-15 23:21:25 发布
阅读量930 收藏 3
点赞数 1
分类专栏： 实验记录 深度学习 学习笔记 文章标签： RNN LSTM keras 实验记录 分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hehedadaq/article/details/89070202
版权

RNN和LSTM初级配方炼丹对比实验（Keras）

文章目录

参考教程：

一、莫烦大佬的教程：
https://morvanzhou.github.io/tutorials/machine-learning/keras/2-4-RNN-classifier/
二、《21个项目玩转深度学习-基于TensorFlow的实践详解》
其实概念性的理解，个人觉得，还是得看看书，虽然很多人（包括我）也诟病一些中文书就知道翻译，但是有些书在入门阶段，作为完整、快速的理解一门新的知识，真的是最佳的手段了。
有些书就包括这本。

前言

还是得扯扯有的没的，目前我知道的几个主要的深度学习分支如下：
后面的几个经典算法，我没完全跟的上，简单写了一些。
在这里插入图片描述
所以发现，这四个大方向，是很有趣的。
作为一个智能体，需要哪些功能，才能完成一个比较健全的任务呢？
感知、记忆、决策、自我意识等功能都应该得有吧？
计算机视觉一般主要用作提取特征，作为视觉感知模块；
循环一般主要用作时间序列，可以处理像语言、股票等时序任务，也算是一种记忆感知，其实我现在一直不明白，有什么样的网络可以实现：这件东西我曾经见过的！这件东西是啥？的功能，感觉传统的分类网络应该不算，或者最后的输出结构不应该是那样的，直接预测出是什么种类，应该还得有一些其他的类似于人认知的功能，比如结合知识图谱？；
强化学习的前端是全连接，或者是卷积，那么是用到了计算机视觉的感知功能。最重要的部分其实是后面的决策模块（可以理解为actor最后面的全连接层，或者加上critic对actor的更新），基于当前感知做决策，以及根据环境反馈，对actor决策进行更新的critic。这样就完成了决策任务了。
生成对抗网络我不太熟悉，所以我就无法描述了，但是今天在“逆强化学习”的课程中，李宏毅老师说，其实inverse reinforcement learning的frame跟gan的就很像很像，所以感觉思路都是交叉的。如果要想在这方面深耕的话，是没有办法只关注于一个领域的。
毕竟智能需要各方面的整合才行。

OK，那么说说我为啥要学RNN。
RNN太重要了呀，强化学习处理的本来就是时序问题，虽然通过整个结构的循环可以处理一些时序的问题，但是如果能直接在感知部分直接提取时序相关的信息，岂不是更合适？
之前那篇自我感知的小机械臂用的就有一个循环感知的过程，直接提取连续五步的状态。
所以还是得学习一下的。

RNN的基础知识

这个比较坑，今天就不在博客上说了，大家可以自己搜一些其他的资料；
或者直接去看那本书。

实验部分：

实验描述：

将mnist数据集分为28*28.第一个28为time_step，第二个是输入数据向量维度为28.
大致的效果是将一张这样的图：
在这里插入图片描述
从上往下拆分，每次只输入RNN网络中一行的数据，分28步输入进去。
然后通过RNN网络的权重进行计算后，输出的维度为隐层数。

最后将最后一步的输出接上全连接网络，再接softmax，进行分类预测。
LSTM的输入输出模型差不多，内部细节可以另看其他资料。

数据集：

Mnist数据集

LSTM-40-mnist-Code：

import numpy as np
np.random.seed(1337)

from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, SimpleRNN, Activation
from keras.optimizers import Adam
TIME_STEPS = 28
TIME_INPUT_SIZE = 28
BATCH_SIZE = 32
BATCH_INDEX = 0
OUTPUT_SIZE = 10
CELL_SIZE = 40
LR = 0.001

(x_train,y_train),(x_test,y_test) = mnist.load_data()
# data pre-processing
x_train = x_train.reshape(-1, 28, 28) / 255.      # normalize
x_test = x_test.reshape(-1, 28, 28) / 255.        # normalize
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
print(x_train.shape)
print(y_train.shape)
model = Sequential()

model.add(SimpleRNN(
    batch_input_shape=(None, TIME_STEPS, TIME_INPUT_SIZE),
    #     output_dim是隐层节点数目，控制了网络的拟合能力和每次状态输出的维度！
    output_dim=CELL_SIZE,
    unroll=True,
))

model.add(Dense(OUTPUT_SIZE, activation='softmax'))

adam = Adam(LR)
model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])

import time
import matplotlib.pyplot as plt
train_cost = []
train_accuracy = []
test_cost = []
test_accuracy = []

start_time = time.time()
for step in range(4001):
    x_batch = x_train[BATCH_INDEX: BATCH_INDEX+BATCH_SIZE, :, :]
    y_batch = y_train[BATCH_INDEX: BATCH_INDEX+BATCH_SIZE, :]
    cost, accuracy  = model.train_on_batch(x_batch, y_batch)
    train_cost.append(cost)
    train_accuracy.append(accuracy)

    BATCH_INDEX += BATCH_SIZE
    if BATCH_INDEX >= x_train.shape[0]:
        BATCH_INDEX=0
    if step%50==0:
        print("step:", step)
        print("cost:", cost)
        cost,accuracy = model.evaluate(x_test, y_test, batch_size=y_test.shape[0], verbose=False)
        test_cost.append(cost)
        test_accuracy.append(accuracy)
        print('test cost: ', cost, 'test accuracy: ', accuracy)
        
print("epoch_time:",(time.time()-start_time)/4001)

plt.figure(num = 1)
plt.ion()

plt.xlabel('epoch')
plt.ylabel('loss and accuracy')

plt.plot(train_cost, label = "loss")
plt.plot(train_accuracy, label = "accuracy")
plt.legend(loc = "best")

plt.show()

plt.figure(num = 2)
plt.ion()

plt.xlabel('epoch')
plt.ylabel('loss and accuracy')

plt.plot(test_cost, label = "loss")
plt.plot(test_accuracy, label = "accuracy")
plt.legend(loc = "best")
plt.show()

实验内容：

测试LSTM和simpleRNN对精度和时间的影响。
以及隐层节点数变化对精度和时间的影响。
猜想：LSTM更强。时间也长一些。
节点数越多，精度越高

实验结果：

LSTM-80
test cost: 0.11618449538946152
test accuracy: 0.9639999866485596
epoch_time: 0.04046541754825805

LSTM-40
test cost: 0.20324485003948212
test accuracy: 0.9412999749183655
epoch_time: 0.04428503430506433

Epoch=4001/lr=0.001RNN-40RNN-80LSTM-40LSTM-80
Test cost0.34960.2080.2030.1162
Test accuracy0.90360.9430.94120.964
Epoch time0.01010.01040.04430.0404

表格分析：

由上面的表格可以看出来以下几点：

  • simpleRNN的训练时间确实要少很多，是LSTM的四分之一。

  • 但是cell_size对训练的时间影响并不大。

  • 另外可以看出来LSTM的训练精度确实比simpleRNN要好一些。

  • 在同样的节点数40时，精度提高了四个点，节点数80时上升2个点。

  • 节点数对精度的提升也很明显，simpleRNN中40-80的差距是4个点，LSTM的40-80的差距是2个点。

但是可以从训练过程中可以看出，精度和loss的波动比较大。如下图——

训练过程记录

lstm-40-train-accuracy-loss-graph-epoch-40001
在这里插入图片描述

lstm-40-test-accuracy-loss-graph-epoch-40001
这里的epoch-80是不对的，因为每50个train-epoch才测试一次，因此下面的每个epoch数字需要做一个变换。
也许每个train-epoch都测试的话，可能波动也比较大了。
在这里插入图片描述
好了，我又跑了一遍，发现波动性确实蛮大的：
但是大概的趋势还可以，是不是跟优化策略有关？我试试其他的？
在这里插入图片描述

SGD-不收敛

只将优化器换成了SGD，学习率都没变，仍然是0.001。那就只能再整一下，加点动量。

在这里插入图片描述
在这里插入图片描述

SGD加动量和牛顿什么的

加了动量=0.9和牛顿=true之后，可以达到下面的效果：
test cost: 0.9125387668609619 test accuracy: 0.7081999778747559

在这里插入图片描述

在这里插入图片描述

SGD加动量不加牛顿~

test cost: 0.9364890456199646 test accuracy: 0.7028999924659729
epoch_time: 0.1839553209818235

在这里插入图片描述
在这里插入图片描述

反正SGD确实没有Adam好，至少在这个任务，这个数据集下，是这样的~

hehedadaq
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch实现RNN实验.rar
12-01
参考链接：https://blog.csdn.net/qq_37534947/article/details/110442147，包含手动是实现RNN、pytorch实现RNN、LSTM、GRU。
LSTM 与 RNN 的比较分析：找出优势和不足
禅与计算机程序设计艺术
12-31 1239
1.背景介绍 深度学习技术的发展，尤其是在自然语言处理、计算机视觉等领域的应用，已经取得了显著的成果。在这些领域中，循环神经网络(RNN)和长短期记忆网络(LSTM)是两种非常重要的神经网络架构，它们具有很强的表示能力和学习能力。在本文中，我们将对比分析 RNN 和 LSTM 的优势和不足，以帮助读者更好地理解这两种神经网络架构的特点和应用场景。 1.1 RNN 简介 RNN 是一种特殊的神...
循环神经网络RNN和LSTM
weixin_43907580的博客
07-09 383
循环神经网络RNN笔记RNN(Recurrent Neural Network ModelRNN语言模型举例 RNN(Recurrent Neural Network Model 学习RNN之前，先来看一下普通的神经网络为什么不能用于自然语言模型。 普通神经网络存在两个问题： 训练句子长度不一样，因此神经网络的输入难以统一，不利于建模。 训练句子中无法共享词之间的特征，其次权重矩阵不共享（下面讨论矩阵共享问题），导致参数很多。 因此RNN出现了 先上图： 这张图还是很难理解的，但是，从这张图至少可
LSTM与RNN的比较
热门推荐
张洁的笔记
04-14 5万+
参考博客：[译] 理解 LSTM 网络 之前提到了RNN，也提到了RNN在处理long term memory的时候存在缺陷，因此LSTM应运而生。LSTM是一种变种的RNN，它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。 下面来看一些RNN和LSTM内部结构的不同： RNN LSTM ...
【神经网络】学习笔记十一——RNN和LSTM参数详解及训练1.0
杨的博客
06-02 5839
好恭喜各位找到一篇宝藏博文。 本系列篇解释RNN和LSTM的参数详解和训练过程，说的较为详细。 这一篇1.0先写原理和参数解释。理解RNN的结构，注意结合参数理解时间序列展开，空间序列展开。 一、从MLP和CNN引起 总的来说，全连接神经网络或者说MLP的训练和结构是好理解的。一个一维长度为n的输入，中间过几个全连接层，都是一维若干的长度，输出为几分类就是多少维的向量，节点到节点的参数构成weight矩阵，隐藏层每个节点又有bias值，这就是一个全连接网络的参数。训练就是想得出这weight矩阵和B
RNN与LSTM的区别
MrLittleDog的博客
07-19 4万+
这篇文章简单总结一下RNN与LSTM的区别。 首先，对于基本RNN来说，它能够处理一定的短期依赖，但无法处理长期依赖问题。比如句子The cat, which already ate …, was full.和句子The cats, which already ate …, were full.，两句话的差别在于主语和谓语动词的单复数，由于句子比较长，RNN就无法处理这种问题。那么RNN为什么无法...
深度学习系列七：LSTM神经网络与RNN的对比及理解：基于tensorflow的MNIST例子
liu3612162的博客
11-21 1018
LSTM（long-short term memory）networks 是一种特殊的RNN网络，整体思维一致，具体区别和原理也可以参考：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 上文对于LSTM阐述非常清晰，这里就不多赘述了，主要记录下自己在学习过程中遇到的一些问题和不清晰的点，以及我自己的理解。 RNN与常规网络的区别 ...
RNN与LSTM的对比分析
weixin_45268911的博客
07-20 6971
RNN与LSTM 一、RNN 1. 为什么需要RNN？ 在这之前，我们已经学习了基础的神经网络，它们可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y；但基础的神经网络只在层与层之间建立了权连接，也就是说，他们都只能单独的去处理一个个的输入，前一个输入和后一个输入是完全没有关系的。而在实际应用中某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据
【深度学习】深度学习实验四——循环神经网络（RNN）、dataloader、长短期记忆网络（LSTM）、门控循环单元（GRU）、超参数对比
yuzhangfeng的博客
10-15 1750
分别采用手动方式以及调用接口方式实现RNN、LSTM和GRU，并在至少一种数据集上进行实验。 从训练时间、预测精度、Loss变化等角度对比分析RNN、LSTM和GRU在相同数据集上的实验结果
【网络流量识别】【深度学习】【一】IRNN和LSTM—网络入侵检测系统深度学习方法的比较分析（N-IDS）：N-IDS 的深度学习
杨的博客
09-30 5481
原文来自ACM网址，发表于ICISDM，是2019年4月发表的一篇文章，作者是陆祥林，刘鹏菊等。 原文名字：网络入侵检测系统深度学习方法的比较分析（N-IDS）：N-IDS 的深度学习 文章链接：​​​​​​​Engineering Village - Record Abstract View 全文在线文档链接：​​​​​​​A Comparative Analysis of Deep Learning Approaches for Network Intrusion Detection System
RNN，LSTM，GRU网络的架构对比
Briwisdom的博客
12-02 2701
前言 接下来要用到时间序列网络做实验，LSTM应该是个不错的选择，今年6月份时候快速的过了一遍LSTM网络各个门控结构的定义，并跟着网络教程做了小demo实验。转眼又过去半年了，在这半年里接触、学习了很多的东西，深感自己之前学习东西都是一知半解，等于在一直快速搭框架，具体内容和细节把握的极差。有句俗语：温故而知新。现在趁着还没毕业，是时候填充我搭的框架了，相信我会一步步学的更加牢固！ 在序列挖...
RNN及LSTM，联系与区别
06-19
循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用，RNNs主要用来处理序列数据。
RNN and LSTM_LSTM_keras_RNN_
09-30
用Keras实现RNN和LSTM的用法，对于加深算法的理解和应用是十分有必要的。
RNN和LSTM介绍1
08-08
二、RNN原理1.前向传播过程 初始化a，传入x，计算出a，利用a计算出y,计算方向为逆时针参数说明：g为激活函数，第一行常用ta
RNN-LSTM卷积神经网络Matlab实现.zip
09-07
RNN卷积神经网络，LSTM，使用matlab实现，简单的数据拟合
基于Keras+RNN+LSTM的藏头诗自动生成模型, 并将生成的古诗翻译成英文python源码+文档说明
最新发布
02-14
use RNN and LSTM generate poetry by Keras, and translate poetry. 用Keras实现RNN+LSTM的模型自动编写古诗, 并将生成的古诗翻译成英文. Note: main.py 中已经省略的模型的构建过程，采用的是已经训练好的模型 ...
RNN-LSTM卷积神经网络Matlab实现
12-10
RNN卷积神经网络，LSTM，使用matlab实现，简单的数据拟合
【python学习笔记】for循环遍历两个列表失败—— ValueError: too many values to unpack
hehedadaq的博客
08-19 2万+
for循环遍历两个列表失败—— ValueError: too many values to unpack for循环遍历两个列表失败—— ValueError: too many values to unpack 问题来源： 为啥会报错？ 我们到底该如何处理两个列表的for循环呢？ 问题来源： 我现在有两个列表，一个是标题，一个是访问量，我想在一个for循环中，获取这两...
英文不好如何高效快速地阅读英文文献——提供一种快速首篇文献阅读方法
hehedadaq的博客
08-14 2万+
英文不好如何高效快速地阅读英文文献 英文不好如何高效快速地阅读英文文献 前言 关于阅读英文文献的重要性 中国人最新最优秀的科研成果基本上都会发表在国外的期刊，用的外文。 前言 本来是想写一个教程的，后来搜了一下，咦，读研一年多了，我的阅读方式果然不对！ 最近感受非常强烈的一个体验就是——没有经过科学系统的训练，你将会走难以预计的弯路！ 对于学习生活中经常要做的事儿，最...
rnn和lstm性能对比
09-11
RNN（循环神经网络）和LSTM（长短期记忆网络）都是深度学习中常用的序列模型。它们在处理序列数据时有一些区别。 RNN是一种基本的循环神经网络结构，它通过将当前时间步的输入与前一时间步的隐藏状态进行结合，从而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hehedadaq

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值