tensorflow_convolution代码解析

## 构建多层卷积神经网络

softmax模型在MNIST上只有91%正确率，而卷积神经网络会达到大概99.2%的准确率，还是比较让人满意。

### 权重初始化

为了创建这个模型，我们需要创建大量的权重和偏置项。这个模型中的权重在初始化时应该加入少量的噪声来打破对称性以及避免0梯度。由于我们使用的是ReLU神经元，因此比较好的做法是用一个较小的正数来初始化偏置项，以避免神经元节点输出恒为0的问题（dead neurons）。为了不在建立模型的时候反复做初始化操作，这里定义两个函数用于初始化。

```python
def weight_variable(shape):
  initial = tf.truncated_normal(shape, stddev=0.1)
  return tf.Variable(initial)

def bias_variable(shape):
  initial = tf.constant(0.1, shape=shape)
  return tf.Variable(initial)
```

### 卷积和池化

tensorflow在卷积和池化的操作上提供了许多灵活性。在这个例子中，卷积的步长为1，并且padding为0。zero-padding的意思是在输入层的边界外围再用0填充。这样可以控制输出量的空间大小，比如这里希望保持输出层的空间大小和输入层的空间大小一样。池化选用基于2x2块的最大池化。

```python
def conv2d(x, W):
  return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):
  return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                        strides=[1, 2, 2, 1], padding='SAME')
```

### 第一个卷积层

模型的第一层由卷积层后加一个最大池化层构成。卷积在每个5x5的patch中算出32个特征。所以，这里权值张量的shape为`[5, 5, 1, 32]`。前两个维度是patch的维度，第三个是输入通道数，最后是输出通道数。每一个输出通道都会配上一个偏置向量。

```python
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
```

为了能用上第一层，输入x需要reshape成4维tensor。第二和第三维度对应图片的宽度和高度，最后一维对应颜色通道数。

```python
x_image = tf.reshape(x, [-1,28,28,1])
```

接下来，对`x_image`和权重张量进行卷积，加上偏置，运用ReLU函数，还有最大池化。

```python
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)
```

### Second Convolutional Layer

为了构建一个深度网络，这里将多个同种类型的层叠加。第二层在每个5x5的patch中算出64个特征。

```python
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
```

### Densely Connected Layer

至此，图像的size已经降低到7x7。接着加入一个1024个神经节点的全连接层，在整个图像的基础上处理。为了便于处理，池化层输出的张量reshape成一个向量，接着乘以权值矩阵，加偏置，应用ReLU。

```python
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
```

#### Dropout

为了减少拟合，输出层之前会应用dropout。这里用一个placeholder来代表一个神经元的输出在dropout中保持不变的概率(shape=[1,1])。这样就可以在训练时开启dropout，测试时可以关闭。TensorFlow的tf.nn.dropout操作除了可以屏蔽神经元的输出外，还会自动处理神经元输出值的scale。所以用dropout的时候可以不用考虑scale。

```python
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
```

### Readout Layer

最后，加上一个softmax层，就像softmax回归模型一样。

```python
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
```

### Train and Evaluate the Model

这个模型的效果如何呢？

为了进行训练和评估，我们使用与之前简单的单层SoftMax神经网络模型几乎相同的一套代码，不同的是用了更加复杂的ADAM优化器来做梯度最速下降，在feed_dict中加入额外的参数keep_prob来控制dropout比例。然后每100次迭代输出一次日志。

```python
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv), reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
sess.run(tf.initialize_all_variables())
for i in range(20000):
  batch = mnist.train.next_batch(50)
  if i%100 == 0:
    train_accuracy = accuracy.eval(feed_dict={
        x:batch[0], y_: batch[1], keep_prob: 1.0})
    print("step %d, training accuracy %g"%(i, train_accuracy))
  train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

print("test accuracy %g"%accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
```

最终的测试结果，准确率应该大约99.2%。
对于这个小型的卷积神经网络，性能几乎不受dropout影响。dropout在减少过拟合上非常有效，但是它用于训练超大型神经网络时才最为有效。
 

转载于:https://my.oschina.net/hounLeft/blog/720730