用tensorflow搭建一个简单的神经网络

在神经网络板块断断续续进行了4个月的摸索，逐渐形成了自己对这个领域的认识，写成博客一是为了分享自己的观点，希望不足之处能得到指正；二是作为读书周记，能督促自己能不要停下来更新博客，持续学习。好了以下就是我的第一章，用tensorflow搭建一个简易的（没有隐藏层的）神经网络。用Tensorflow实现Softmax Regression识别手写数字，数据集为MNIST
思路：
1）我们在实现手写识别时，我们首先需要明确输入（x_input），输出（y_output）的结构形式，从而确定出输出输入层节点和输出层节点个数。从train set中我们知道，输入图片是28*28的矩阵，输出是0-9即10*1的矩阵，所以输入节点个数为784，输出节点个数为10。如下语句：

x = tf.placeholder(tf.float32,[None,784])#None：忽略样本个数
y_true = tf.placeholder(tf.float32,[None,10])#标签，None：忽略样本个数

2）因为我们不涉及隐藏层设计（关于隐藏层将会在CNN章节详细介绍），所以接下来就要明确biases和weight，在后面关于CNN的介绍中，我将对biases和weight对图片的具体意义进行阐述。这里只需要知道，biases和weight是我们做线性回归拟合曲线时需要的两个参数，神经网络的学习也就是找出合适的biases和weight，使我们的模型能更好的对已知样本进行分类，且对新样本的预测有很好的泛化能力。图示如下!
左边为784个输入节点，右边为10个输出节点的全连接神经网络，所以可知我们的参数weight的个数为784*784个，但是由于权值共享（关于权值贡献我在CNN中细说），所以这里只有784个参数。所以权值weight为784*10的矩阵。矩阵形式满足：输入矩阵 * 权值矩阵 = 输出矩阵 [None,784] * [784,10] = [None,10]； 因为输出为10维的，所以biases也是10维的所以语句为

w = tf.Variable(tf.zeros([784,10])) #权值矩阵
b = tf.Variable(tf.zeros([10]))#偏执矩阵

3）然后定义算法的公式，即神经网络的forwward时的计算 语句为：

y_pre = tf.nn.softmax(tf.matmul(x,w) + b) #预测值,预测标签

这个是用来计算预测值的公式，我们将他与标签值做对比然后通过不断调整weight和biase来优化模型

4）定义损失函数cost function(tensorflow最厉害将是forward和backward的内容自动实现)，只要定义好cost function 训练时就会自动求导并进行梯度下降，完成对softmax regression的自动学习我们这里用信息熵作为cost function ，代码如下：

y_true = tf.placeholder(tf.float32,[None,10])#标签
cross_entropy = tf.reduce_mean(tf.reduce_sum(-y_true * tf.log(y_pre), reduction_indices=[1]))

y_true是我们需要输入的标签。

5）指定优化器优化cost function，这里用传统的梯度下降算法即可，学习率选择0.5

train = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

6）迭代对数据进行训练

for i in range(100):
    batch_x,batch_y = mnist.train.next_batch(100)
    sess.run(train,feed_dict={x:batch_x,y_true:batch_y})

7）在test set 或者 validation set 上进行测试，准确率在92%左右。
完整代码如下：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)

sess = tf.InteractiveSession()

x = tf.placeholder(tf.float32,[None,784])
w = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))

y_pre = tf.nn.softmax(tf.matmul(x,w) + b) #预测值,预测标签

y_true = tf.placeholder(tf.float32,[None,10])#标签
cross_entropy = tf.reduce_mean(tf.reduce_sum(-y_true * tf.log(y_pre), reduction_indices=[1]))

train = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

tf.global_variables_initializer().run()


for i in range(1000):
    batch_x,batch_y = mnist.train.next_batch(100)
    sess.run(train,feed_dict={x:batch_x,y_true:batch_y})
correct_prediction = tf.equal(tf.argmax(y_pre,1),tf.argmax(y_true,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
print(accuracy.eval({x: mnist.test.images,y_true: mnist.test.labels}))

总结：明确输入节点，输出节点个数；输入的是所有特征，输出的是预测标签；将预测标签和实际输入的标签做对比，然后调整权值和偏执，最后得出模型。

，