TensorFlow实现多层感知机

此代码主要参考黄文坚老师的《TensorFlow实战》

此网络数据集为MNIST手写数据集，采用一层隐含层（隐含层节点数量300）的神经网络架构，并且使用Dropout方法随机丢失神经元来丰富训练的特征，使用自适应学习速率算法Adagrad，激活函数使用ReLU，输出层采用softmax计算各个类别概率。

此处输入，[None,784]代表将图片784像素点一维“铺开”，一张图片对应一个向量：1*784

具体代码如下：

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

#加载数据
mnist=input_data.read_data_sets('MNIST_data/',one_hot=True)
#创建一个TensorFlow默认的Interactive，这样后面执行各项操作就无需指定Session了
sess=tf.InteractiveSession()

'''
给隐含层的参数设置Variable并初始化
'''
#in_units输入节点数
in_units=784
#隐含层输出节点数
h1_units=300
#w1、b1是隐含层的权重和偏置，将偏置全部置0
#将权重初始化为截断的正态分布，标准差为0.1
#因为模型使用的激活函数是ReLU,所以需要使用正态分布给参数加一点噪声，来打破完全对称并且避免0梯度
#W1 [784,300]
'''
隐含层W1,b1
'''
#W1 [784,300]
W1=tf.Variable(tf.truncated_normal([in_units,h1_units],stddev=0.1))
#b1 [300,]
b1=tf.Variable(tf.zeros([h1_units]))
#对最后输出层的softmax
#将权重W2和偏置b2全部初始化为0
#W2 [300,10]
'''
输出层W2,b2
'''
W2=tf.Variable(tf.zeros([h1_units,10]))
#b2 [10,]
b2=tf.Variable(tf.zeros([10]))

#x [None,784]
x=tf.placeholder(tf.float32,[None,in_units])
#Dropout 比率 ：通常在训练时小于1，预测时等于1
keep_prob=tf.placeholder(tf.float32)


'''
定义模型结构
'''
#隐含层
#激活函数:relu
#x [None,784] W1 [784,300] b1 [300,]
hidden1=tf.nn.relu(tf.matmul(x,W1)+b1)
#调用tf.nn.dropout实现Dropout功能，随机将一部分节点置为0
#keep_prob是保留数据而不置为0的比例，训练时应该小于1，用以制造随机性，防止过拟合；预测时等于1.使用全部特征来预测样本的类别
hidden1_drop=tf.nn.dropout(hidden1,keep_prob)
#输出层
#hidden1_drop[None,300] W2 [300,10] b2[10,]
#y是预测的概率分布
y=tf.nn.softmax(tf.matmul(hidden1_drop,W2)+b2)

'''
定义损失函数和选择优化器来优化loss
'''
#此处损失函数使用交叉信息熵，优化器选择自适应的Adagrad，学习率设为0.3
#y_ [None,10]
#y_是真实的概率分布
y_=tf.placeholder(tf.float32,[None,10])
#交叉熵损失函数
#reduction_indices参数，表示函数的处理维度
cross_entropy=tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),
                                            reduction_indices=[1]))
train_step=tf.train.AdagradOptimizer(0.3).minimize(cross_entropy)

'''
进行训练
'''
#训练时keep_pro设为0.75，意味75%激活
#使用3000个batch，每个batch包含100样本，一共30w样本，相当于对全数据集进行了5轮迭代
tf.global_variables_initializer().run()
for i in range(3000):
    batch_xs,batch_ys=mnist.train.next_batch(100)
    train_step.run({x:batch_xs,y_:batch_ys,keep_prob:0.75})

'''
对模型准确率进行评测
'''
#tf.argmax(y,1)是求各个预测数字中概率最大的那个
#tf.argmax(y_,1)是找样本的真实数字类别
#tf.equal()来判断预测的数字类别是否就是正确的类别
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
print(correct_prediction)
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
#测试集
#eval()作用：将字符串string对象转化为有效的表达式参与求值运算返回计算结果
print(accuracy.eval({x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0}))

最终分类结果准确率可以达到97%以上，比单层的softmax提升了不少