tensorflow实现多层感知机

多层感知机简介

多层感知机（Multi-Layer Perceptron, MLP）也叫多层神经网络。它的特点是含有多个隐含层。

没有隐含层的神经网络是线性的，不能实现非线性的分类问题。当引入隐含层并使用非线性的激活函数以后我们可以用曲线划分样本，可以轻松解决XOR异或函数的分类问题。神经网络的隐含层越多，就可以对原有特征进行越抽象的变换，模型的拟合能力就越强。

实现多层感知机

实现步骤：
1、输入数据
2、给隐含层设置Varable并进行初始化
3、定义模型结构：隐含层+防止过拟合+输出
4、定义损失函数和选择优化器来优化loss
5、训练
6、评估模型

代码如下

根据《TensorFlow实战》所写，书上说准确率可以达到0.98，但是我测试的准确率只有0.098。至今没发现我哪错了……

#加载MNIST数据
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
#mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)
mnist = input_data.read_data_sets(r'H:\MNISTdata',one_hot=True)     #手动下载好之后用路径加载
sess = tf.InteractiveSession()

#给隐含层设置Varable并进行初始化，
in_units = 784            #输入节点数
h1_units = 300            #隐含层的输出节点数
W1 = tf.Variable(tf.truncated_normal([in_units, h1_units], stddev=0.1))     #隐含层的权重
b1 = tf.Variable(tf.zeros([h1_units]))                                      #隐含层的偏重
W2 = tf.Variable(tf.zeros([h1_units, 10]))                                  #最后输出层的权重
b2 = tf.Variable(tf.zeros([10]))                                            #最后输出层的偏置

#定义输入x的placeholder
x = tf.placeholder(tf.float32, [None, in_units])
keep_prob = tf.placeholder(tf.float32)

#定义模型结构
hidden1 = tf.nn.relu(tf.matmul(x, W1) + b1)                 #实现一个激活函数为ReLU的隐含层
hidden1_drop = tf.nn.dropout(hidden1, keep_prob)            #实现dropout功能，keep_prob用以制造随机性，防止过拟合
y = tf.nn.softmax(tf.matmul(hidden1_drop, W2) + b2)         #输出层

#定义损失函数和选择优化器来优化loss
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),
                                              reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(0.3).minimize(cross_entropy)

#训练步骤，加入keep_prob作为计算图的输入
tf.global_variables_initializer().run()
for i in range(3000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    train_step.run({x: batch_xs, y_:batch_ys, keep_prob: 0.75})

#对模型进行准确率评估，加入一个keep_prob作为输入，因为是预测部分，所以令keep_prob=1
correct_prediction = tf.equal(tf.argmax(y, 1),tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(accuracy.eval({x: mnist.test.images, y_: mnist.test.labels,
                     keep_prob: 1.0}))

上一篇：链接: TensorFlow实战2.
下一篇：链接: TensorFlow实现简单卷积神经网络.