对循环神经网络的理解

循环神经网络可以看成是多个神经元的展开。比如有10的神经元的循环神经网络，可以看成是10个神经元的多层网络。不过稍有不同的是，多层网络中同一层的神经元之间没有连接，但是循环神经元是有的。
这一点可以通过循环神经元的数目以及参数来验证。
比如这个程序中，cell_size取10，20和30的时候，对应的隐含层的参数分别是390，980和1770。
输入是28个，对应的计算公式是：
390=28x10+10x10+10
980=28x20+20x20+20x
1770=28x30+30x30+30
上面的10x10，20x20和30x30就是同一层神经元之间的互相连接的参数。

import tensorflow as tf
import numpy as np
from tensorflow import keras
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '1'
#读取本地mnist数据
def my_load_data(path='mnist.npz'):
    origin_folder = 'https://storage.googleapis.com/tensorflow/tf-keras-datasets/'
    path = tf.keras.utils.get_file(
        path,
        origin=origin_folder + 'mnist.npz',
        cache_dir='DataSet/',
        cache_subdir=""
    )
    with np.load(path, allow_pickle=True) as f:
        x_train, y_train = f['x_train'], f['y_train']
        x_test, y_test = f['x_test'], f['y_test']

        return (x_train, y_train), (x_test, y_test)

(x_train, y_train), (x_test, y_test) = my_load_data(path='mnist.npz')

x_train=x_train/255.
x_test=x_test/255.
#转换为独热模式
y_train = keras.utils.to_categorical(y_train, num_classes=10)
y_test = keras.utils.to_categorical(y_test, num_classes=10)

# 数据长度 一行有28个像素
input_size = 28
# 序列的长度
time_steps = 28
# 隐藏层block的个数
cell_size = 10
#cell_size = 20
#cell_size = 30
model = keras.Sequential()
# 循环神经网络
model.add(keras.layers.SimpleRNN(
        units = cell_size, # 输出
        input_shape = (time_steps, input_size), # 输入
    ))
# 输出层
model.add(keras.layers.Dense(10, activation='softmax'))
# 定义优化器
adam = keras.optimizers.Adam(lr=1e-4)
# 定义优化器、loss function, 训练过程中计算准确率
model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])
# 训练模型
model.fit(x_train, y_train, batch_size=64, epochs=3)
# 评估模型
loss, accuracy = model.evaluate(x_test, y_test)
print('test loss', loss)
print('test accuracy', accuracy)