在Tensorflow官方文档中文版中关于深入MNIST中卷积神经网络代码中常数浅析

有关于CNN的细节请参考CNN相关概念，这里不在赘述。下面的说明中将直接使用英文术语（不同人对中文术语叫什么也许有歧义）

也许有不少人像我一样，对在深入MNIST中卷及神经网络部分中的常数有很多不解。下面让我说明一下各种奇妙的常数的来历。

同时推荐大家，如果对函数有疑惑的话，看看官网对于api的说明Tensorflow API documentation

从头梳理吧。

def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides = [1, 1, 1, 1], padding = 'SAME')

其中，strides的第0个元素和第3个元素必须固定为1，第1个和第2个元素指的是horizontal stride和vertical stride都为1。

对于padding参数的作用，本着不做重复劳动的原则0.0，请大家参考这篇文章padding参数作用

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize = [1, 2, 2, 1],
                          strides = [1, 2, 2, 1], padding = 'SAME')

其中，ksize第0,1,2,3个元素指的是在第0,1,2,3维度的kernel size，可以理解为输出神经元的receptive field是2x2的。strides第0,1,2,3个元素指的是在第0,1,2,3维度的stride。

这个函数的功能是将整个图片分割成2x2的块，对每个块提取出最大值输出。可以理解为对整个图片做宽度减小一半，高度减小一半的降采样。

W_conv1 = weight_variable([5, 5, 1, 32])

其中前两个5是指：第一个卷积层的输出神经元对应的receptive field是高度为5，宽度为5的。后面的1是指输入的channel为1。之后的32是指输出的channel为32。

可以理解为对输入做32次卷积，每次卷积中不同的神经元享有同样参数；但是不同次卷积所用的参数是不同的。

b_conv1 = bias_variable([32])

中32是指分别对应32次卷积的bias

x_image = tf.reshape(x, [-1, 28, 28, 1])

就是输入的784维向量重新处理成[28,28]的矩阵，因为图片只有灰度信息，于是最后一维的channel数为1

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

这段代码进行了卷积，然后用relu函数作为激励函数，然后做2x2卷积。此时，h_conv1的大小是[None, 28, 28, 32]，h_pool1的大小是[None, 14, 14, 32]。
（如果不理解这里，请大家回头看一下我在前面有关于conv2d和max_pool_2x2的解释=￣ω￣=）

W_conv2 = weight_variable([5, 5, 32, 64])

是对[None, 14, 14, 32]的h_pool1所用的权重。

b_conv2 = bias_variable([64])

就是在对h_pool1做卷积所用的偏置。

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

经过这一串代码之后，h_conv2的大小为[None, 14, 14, 64]，h_pool2的大小为[None, 7, 7, 64]。

随后的一个全连接层和一个softmax层就不做解释了。是应该在前面的那个用softmax做估计的那个例子中应该弄明白的。