这是之前的文章《手写数字识别(1)---- Softmax回归模型》的姊妹篇,一些基本的输入与环境与上一篇一致。
权重初始化
要构建一个多层网络,需要初始化很多权重变量。
在这里要说明一些有关权重初始化需要注意的事项。权重不能初始化为全部相同的值,要将参数进行随机初始化,而不是全部置为0。如果所有参数都用相同的值作为初始值,那么所有隐藏层单元最终会得到与输入值有关的、相同的函数(也就是说同一层的所有结点都会有相同的激活函数)。随机初始化的目的是为了使对称失效(symmetry breaking)。
同时在tensorflow的深度网络里面,他们使用了ReLU(Rectified Linear Unites)作为激活函数,为了避免出现神经元不能被激活(dead neurons)的情况,在这次的训练网络中又加入了一些偏置量。
在这里,构造两个函数来生成变量。
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
tf.truncated_normal
,这个函数返回一个变量组件,里面的值由一个截断正态分布函数(truncated normal distribution)生成。对于这个,我们只需要知道,该变量的初始值是由正太分布函数生成的即可。
shape
即该变量的维度信息。stddev
即,standard deviation。
使用方法可以看下面的例子:
>>> import tensorflow as tf
>>> sess = tf.Session()
>>> initial = tf.truncated_normal(shape=[2,2], stddev=0.1)
>>> sess.run(initial)
array([[ 0.01293811, 0.15602824],
[ 0.13170491, 0.01664901]], dtype=float32)
>>> sess.run(initial)
array([[ 0.06780983, -0.14649697],
[-0.09865334, 0.04494597]], dtype=float32)
卷积和池化(convolution and pooling)
卷积
关于什么是卷积已经有很多文章可以看,我在下面也放了一些我认为不错的资料。
做卷积时,需要注意下面这些问题:
- 卷积边界怎么处理?
- 每次移动卷积模版的步长是多少?
这次实验中,选用了0边界,步长为1的参数,以保障输入与输出为同一大小。
池化
关于池化,把它理解成取矩阵里的不相交的区域里面的一个特殊值的过程(类似降采样,不过它取出的值可以是经过计算得出的,如均值)。在这个实验中,池化操作采用了取小区域最大值的方法。
实现
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
strides=[1, 2, 2, 1], padding='SAME')
tf.nn.conv2d
,这个就是卷积操作,x
是输入数据,W
是过滤模板或者说核函数。
x
是一个有四个维度的量,包括[batch, in_height, in_width, in_channels]
.W
也是一个四维的量,包括[filter_height, filter_width, in_channels, out_channels]
strides
里面的每一量对应W
在x
上的移动步长,比如strides = [1, 2, 3, 4]
批,每次移动batch的个数是1;每次移动in_height的数目是2;每次移动in_width的数目是3;每次移动in_channels的数目是4。当然,每次只应该移动一个量。注意,batch和in_channels一般每次只会移动1。所以一般形式是strides = [1, stride, stride, 1]
。padding
,暂不理解。说是和它的内部选择算法有关。
max_pool
,池化操作。
x
是输入矩阵,一般是卷积之后得到的结果。包括四个维度[batch, in_height, in_width, in_channels]
ksize
指对x
的四个维度做池化时的大小。如ksize=[1, 2, 2, 1]
,池化的模板的每次一个batch,一个channel,长为2,宽为2。strides
和上面的一个意思。
第一层卷积
第一层卷积将在含有一个通道的图像的5 X 5的小区域内做卷积,并计算出32个特征。
所以,
初始化权重与偏置
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
reshape输入
x_image = tf.reshape(x, [-1, 28, 28, 1])
-1
表示,它的大小信息由其它几组值确定。28
表示,长与宽的信息1
表示,图像的channel(R、G、B)
输入卷积结点并池化
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)
第二层
第二层与第一层类似
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
全连接层
原图片大小是28*28的,经过2次池化,池化使用的是2*2的模板。第一次池化之后大小为14*14,第二次池化之后为7*7。此时第二层的64个输出设置一个全连接层。
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
Dropout层
这一层的功能还是比较清楚的。为了使网络有更好的适应性,同时也是为了防止过拟合,dropout层在训练的时候会开启(使结点以特定的概率被激活)。在测试的时候,就关掉它们。
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.dropout(h_fc1, keep_prob)
这部分现在还不熟
输出层
这部分就比较好理解了。
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
训练与测试
这部分与使用softmax回归的部分基本一致,不同的地方有以下几点:
- 使用更精密的ADAM最优化方法代替了梯度下降最优化方法。
- 在输入数据中加入了keep_prob,来控制训练与测试过程中drop的概率值。
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv), reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
sess.run(tf.initialize_all_variables())
for i in range(20000):
batch = mnist.train.next_batch(50)
if i%100 == 0:
train_accuracy = accuracy.eval(feed_dict={
x:batch[0], y_: batch[1], keep_prob: 1.0})
print("step %d, training accuracy %g"%(i, train_accuracy))
train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
print("test accuracy %g"%accuracy.eval(feed_dict={
x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
结果
其实,大约训练几千次就能等到接近最终准确率的时候了。下面这是训练了一万次的结果。
(tensorflow) cslzy (master *) mnist $ python cnn_mnist.py
Extracting MNIST_data/train-images-idx3-ubyte.gz
Extracting MNIST_data/train-labels-idx1-ubyte.gz
Extracting MNIST_data/t10k-images-idx3-ubyte.gz
Extracting MNIST_data/t10k-labels-idx1-ubyte.gz
training step 0, the accuracy: 0.06
training step 100, the accuracy: 0.86
training step 200, the accuracy: 0.92
training step 300, the accuracy: 0.86
training step 400, the accuracy: 1
training step 500, the accuracy: 0.92
training step 600, the accuracy: 1
... ...
training step 9400, the accuracy: 1
training step 9500, the accuracy: 0.98
training step 9600, the accuracy: 1
training step 9700, the accuracy: 1
training step 9800, the accuracy: 1
training step 9900, the accuracy: 0.98
the test accuracy: 0.9911
总结
通过这次模仿实现,从实践角度学习了CNN的框架与原理。同时也有一些新的知识点需要学习与深化,包括:
- dropout层的原理与使用范围。
- 对CNN的实现细节方面还需要进一步熟悉。
注意事项
sess.run(tf.initialize_all_variables())
要放在训练之前,模型构建之后。不然会出错。
参考
ReLU激活函数
对称失效(symmetry breaking)
截断正态分布函数(truncated normal distribution)
直观理解卷积:Understanding Convolutions博主用了一些直观的图和例子来给我们描述了什么是卷积,比较不错。
卷积原理与过程:Conv Nets: A Modular Perspective
池化