(一)卷积神经网络结构+最终的识别精度。
用Tensorflow实现一个完整的卷积神经网络,用这个卷积神经网络来识别手写数字数据集(MNIST)。我们先来看看实现的卷积神经网络结构如下图所示:
接着,我们再来看看实现的这个卷积神经网络,在MNIST数据集中的测试集上的精度。
我用了两种优化训练方法,对模型训练了1000次,在训练1000的过程中,每隔50次进行一次模型的精度测试。
(1)批量梯度下降法(Batch Gradient Descent),结果如下图所示。学习率为0.001。
图1:学习率为0.001的批量梯度下降结果 图2:学习率为1e-4的批量梯度下降结果
(2)Adam优化训练方法。结果如下图所示。(学习率为:1e-4也就是1*10^(-4))。
分析两种优化方法的结果:
Adam优化算法比批量梯度下降法更快的到达最优解,使学习器更快的达到最优效果。
(二)实现网络结构
(1)定义卷积层的Weight和bias。
1. 导入Tensorflow模块。
import tensorflow as tf
2. 采用的数据集是Tensorflow里面的mnist数据集。我们需要把数据集导入:
from tensorflow.examples.tutorials.mnist import input_data
# number 1 to 10 data
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)
3. 定义Weight变量,输入shape,返回变量的参数。其中我们使用了tf.truncted_normal产生随机变量来进行初始化:
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
定义biase变量,输入shape,返回变量的一些参数。其中我们使用tf.constant常量函数来进行初始化:
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
4. 定义卷积操作。tf.nn.conv2d函数是Tensorflow里面的二维的卷积函数,x是图片的所有参数,W是卷积层的权重,然后定义步长strides=[1,1,1,1]值。strides[0]和strides[3]的两个1是默认值,意思是不对样本个数和channel进行卷积,中间两个1代表padding是在x方向运动一步,y方向运动一步&#x