循环神经网络RNN(Recurrent Neural Network)

RNN常用于序列数据的建模和预测，其与传统神经网络的区别在于隐藏层之间的结点有连接。

循环核：参数时间共享，循环层提取时间信息
循环神经网络：借助循环核提取时间特征后，送入全连接神经网络

循环核具有记忆力，通过不同时刻的参数共享，实现了对时间序列的提取。

RNN擅长处理序列数据。输出还作为下一个时刻的输入。
h[t]=fw(h[t-1],xt)
过程中一共有三个参数：U当前输入的权重矩阵，V隐层和输出层间的权重矩阵，W上一状态输入的权重矩阵。

入RNN时，x_train是三维的：[送入样本数，循环核时间展开步数，每个时间步输入特征步数]

独热码： 数据量大时，过于稀疏，映射之间是独立的，没有表现出关联性。
Embedding: 是一种单词编码方法，用低维向量实现了编码，这种编码通过神经网络训练优化，能表达出单词间的相关性。
tf.keras.layers.Embedding(词汇表大小，编码维度)
入RNN时，x_train是二维的：[送入样本数，循环核时间展开步数]

import tensorflow as tf
physical_devices = tf.config.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(physical_devices[0], True)
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras import Model
import pandas as pd
import os

input_word="abcde"
w_to_id={
   'a':0,'b':1,'c':2,'d':3,'e':4}
x_train=[w_to_id['a'],w_to_id['b'],w_to_id['c'],w_to_id['d'],w_to_id['e']]
y_train=[w_to_id['b'],w_to_id['c'],w_to_id['d'],w_to_id['e'],w_to_id['a']]

np.random.seed(7)
np.random.shuffle(x_train)
np.random.seed(7)
np.random.shuffle(y_train)

x_train=np.reshape(x_train,(len(x_train),1))    #送入样本数，循环核时间展开步数
y_train=np.array(y_train)

model=tf.keras.Sequential([
    tf.keras.layers.Embedding(5,2),
    tf.keras.layers.SimpleRNN(3),
    tf.keras.layers.Dense(5,activation="softmax")
])

model.compile(optimizer=tf.keras.optimizers.Adam(0.01),
             loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),