TensorFlow实现简单的卷积网络

      上一篇的卷积神经网络的介绍，大概把很多同学都看懵了，好在这一篇的代码，配合弟弟手画的示意图（感觉很有诚意的样子），阅读起来还算ok，并有助于我们去真正理解卷积网络。我们将使用TF建立一个拥有两个卷积层和一个全连接层的非常具有代表性的卷积网络。

      上图是这个卷积网络的数据流图，我们可以边写代码边看这个图，就能很清晰地理解卷积网络的结构。代码如下。

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist=input_data.read_data_sets('MNIST_data/',one_hot=True)
sess=tf.InteractiveSession()

      由于之后会频繁用到权重，偏置的初始化，我们先定义好函数以方便重复使用。我们给权重制造一些随机噪声来打破完全对称，使用截断的标准差为0.1的正态分布噪声。

def weight_variable(shape):  #shape为参数的矩阵形状
    initial=tf.truncated_normal(shape,stddev=0.1)
    return tf.Variable(initial)
def bias_variable(shape):
    initial=tf.constant(0.1,shape=shape)
    return tf.Variable(initial)

      然后我们再定义卷积和池化两个函数，以方便使用。

def conv2d(x,W):#x是输入，W是参数，例如输入w[5,5,1,32],代表使用32个5*5的卷积核，颜色通道为1，代表图片仅有灰度单色
    return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME') #strides=[1,k,k,1],k代表横竖方向移动的步长，这里取1padding='same'代表边界处理的方式，即让输出和输入保持同样尺寸

#这里有兴趣的同学可以去查阅资料，了解下矩阵的卷积是如何进行操作的。这里不表。
def max_pool_2x2(x):
    return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')#这里ksize=[1,k,k,1]代表将2*2像素降为1*1像素，strides=[1,k,k,1]依然代表横竖移动2个步长

x=tf.placeholder(tf.float32,[None,784])
y_=tf.placeholder(tf.float32,[None,10])
x_image=tf.reshape(x,[-1,28,28,1])   #重塑图片结构，-1代表样本数量不确定，最后面的1代表颜色通道
定义第一层卷积层

w_conv1=weight_variable([5,5,1,32])#使用32个5*5的卷积核
b_conv1=bias_variable([32])
h_conv1=tf.nn.relu(conv2d(x_image,w_conv1)+b_conv1)
h_pool1=max_pool_2x2(h_conv1)     #降采样

定义第二层卷积层

w_conv2=weight_variable([5,5,32,64])  #这里有32个通道，使用64个5*5的卷积核
b_conv2=bias_variable([64])
h_conv2=tf.nn.relu(conv2d(h_pool1,w_conv2)+b_conv2)
h_pool2=max_pool_2x2(h_conv2)

再连接一层全连接层

w_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])  #将图片再展开成为一维结构
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,w_fc1)+b_fc1)

没事又再搞一个dropout

keep_prob=tf.placeholder(tf.float32)

h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)

w_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])

输出层为softmax层

y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop,w_fc2)+b_fc2)

接下来是常规的loss定义和准确率的输出

cross_entropy=tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y_conv),reduction_indices=[1]))
train_step=tf.train.AdagradOptimizer(0.0001).minimize(cross_entropy) #因为迭代次数较大，我们可以选择较小步长的AdamOptimizer

correct_prediction=tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32)

tf.global_variables_initializer().run()
for i in range(20000):
    batch=mnist.train.next_batch(50)
    if i%100==0:  #由于迭代轮次较多，我们实时地监看模型的准确率
        train_accuracy=accuracy.eval(feed_dict={x:batch[0],y_:batch[1],keep_prob:1.0})
        print('step %d,training accuracy %g'%(i,train_accuracy))
    train_step.run(feed_dict={x:batch[0],y_:batch[1],keep_prob:0.5})

print('test accuracy %g'%accuracy.eval(feed_dict={x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0}))

      因为前面几节的铺垫，很多代码的细节已经不需要重述。往后的代码将会越来越复杂，我们需要投入更多才能掌握好这门知识。