本篇博客我们将学习使用TensorFlow搭建一个循环神经网络(RNN)模型,并用它来训练MNIST数据集。RNN在自然语言处理领域的以下几个方向已经取得了非常大的成功:
- 机器翻译
- 语音识别
- 图像描述生成(将RNN与CNN相互结合)
- 语言模型与文本生成,即利用生成模型预测下一个单词的可能性。
接下来我们讲解如何使用RNN完成MNIST数据集的分类问题:
(1)加载数据并设置超参数(学习率、训练次数、每轮训练数据大小)
import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
mnist=input_data.read_data_sets('MNIST_data',one_hot=True)
lr=0.001
training_iters=100000
batch_size=128
为了使用RNN来分类图像,我们将每张图像的行看做一个像素序列,MNIST数据集中的图像是28*28,所以每张图像存在28行28个元素的序列。因此在RNN模型中每一步输入的序列长度为28,输入的步数为28步。
(2)定义RNN模型的参数
#神经网络参数
n_inputs=28
n_steps=28
n_hidden_units=128
n_classes=10
#输入数据的占位符
x=tf.placeholder(tf.float32,[None,n_s