Tensorflow实例：实现简单的卷积神经网络

CNN最大的特点在于卷积的权值共享结构，可以大幅减少神经网络的参数量，防止过拟合的同时又降低了神经网络模型的复杂度。在CNN中，第一个卷积层会直接接受图像像素级的输入，每一个卷积操作只处理一小块图像，进行卷积变化后再传到后面的网络，每一层卷积都会提取数据中最有效的特征。这种方法可以提取到图像中最基础的特征，比如不同方向的边或者拐角，而后再进行组合和抽象形成更高阶的特征。
一般的卷积神经网络由多个卷积层构成，每个卷积层中通常会进行如下几个操作：

1. 图像通过多个不同的卷积核的滤波，并加偏置（bias），特取出局部特征，每个卷积核会映射出一个新的2D图像。
2. 将前面卷积核的滤波输出结果，进行非线性的激活函数处理。目前最常见的是使用ReLU函数，而以前Sigmoid函数用得比较多。
3. 对激活函数的结果再进行池化操作（即降采样，比如将2*2的图片将为1*1的图片），目前一般是使用最大池化，保留最显著的特征，并提升模型的畸变容忍能力。

总结一下，CNN的要点是局部连接（local Connection）、权值共享（Weight Sharing）和池化层（Pooling）中的降采样（Down-Sampling）。

本文将使用Tensorflow实现一个简单的卷积神经网络，使用的数据集是MNIST，网络结构：两个卷积层加一个全连接层。

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

# 载入MNIST数据集，并创建默认的Interactive Session。
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
sess = tf.InteractiveSession()

# 创建权重和偏置，以便重复使用。我们需要给权重制造一些随机的噪声来打破完全对称，比如截断的正态分布噪声，标准差设为0.1
def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

# 创建卷积层、池化层，以便重复使用
def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def