LeNet5 卷积

论文：LeNet Gradient-Based Learning Applied to Document Recognition

作者及出版处：Yann Lecun , Léon Bottou , Yoshua Bengio , Patrick Haffner；Proceedings of the IEEE

1998年Yann LeCun在论文“Gradient-Based Learning Applied to Document Recognition”中提出了LeNet-5，并在字母识别中取得了很好的效果。LeNet5是首个成功进行多层训练的卷积神经网络【CNN】， 它极大的推动了深度学习领域的发展。

本文仅对论文的LeNet5的网络结构部分进行分析，并由此看看 tensorflow中如何实现 LeNet5 的训练和测试。【训练集是MINIST】

理论知识：

• 卷积

卷积：图像与卷积核【或称滤波器】进行像素的加权求和。

卷积的优点：采用局部连接、权值共享降低了参数量【需要训练的权值数量只跟卷积核大小、卷积核数量有关，使训练复杂度大大下降】，同时减轻了过拟合。

1. 局部连接：每一个像素点在空间上和周围的像素点实际上是有紧密联系的，但是和太远的像素点就不一定有什么关联了。我们把关系紧密的区域称为感受野，因此一个神经元只需将感受野区域的像素点作为输入，而不需要将所有像素点都作为输入，即局部连接。
2. 权值共享：一个卷积核就是一个特征提取器，每个卷积核与输入图像进行一次卷积得到的新的图像称为一个Feature Map【卷积核个数越多，提取的特征越多，理论上来说精度也会更高】，一个新的Feature Map的所有像素点都是使用同一个卷积核得到的，即权值共享。

• 池化-Max pooling

把下图的4X4输入看作某些特征的集合，数字大意味着特征提取器提取到的特征最明显。最大池化就是保留每个象限提取到的最明显的特征。大量的实验表明最大池化有非常好的效果，它降低了输出参数量、提高了计算速度，同时提高了模型的泛化能力。

• Padding

解决输出缩小

避免图像边缘的大部分信息丢失

• 总结

LeNet5网络结构：

输入：32*32=1024的手写字体图片，相当于1024个神经元。这些手写字体包含0~9数字，也就是相当于10个类别的图片

C1层：作者选择了6个特征卷积核，然后卷积核大小选择5*5，这样我们可以得到6个特征图，然后每个特征图的大小为32-5+1=28，也就是神经元的个数为6*28*28=784。

S2层：下采样层，也就是使用最大池化进行下采样，池化的滤波器大小f选择(2,2)，步长stride为2。这样我们可以得到输出大小为14*14，且有6个这样的图片。

C3层：卷积层，这一层我们选择卷积核的大小依旧为5*5，据此我们可以得到新的图片大小为14-5+1=10，此处采用16个卷积核，所以最终输出16个10*10的图片。

S4层：下采样层，对C3的16张10*10的图片进行最大池化，池化的滤波器大小f选择(2,2)，步长stride为2。因此最后S4层为16张大小为5*5的图片。至此我们的神经元个数已经减少为：16*5*5=400。

C5层：将S4层的输出平铺为一个400的一维向量。然后用这400个神经元构建下一层，C5层有120个神经元。S4层的400个神经元与C5层的每一个神经元相连【C5层有120个神经元】，这就是全连接层，可看作一个标准的神经网络层。【如下图】

F6层：对C5层的120个神经元再添加一个全连接层【F6层含有84个神经元】。

输出：最后将F6层的84个神经元填充到一个SoftMax函数，得到输出长度为10的张量，张量中为1的位置代表所属类别。（例如[0,0,0,1,0,0,0,0,0,0]的张量，1在index=3的位置，故该张量代表的图片属于第三类）

实战阶段

了解了LeNet5的网络结构，下面就用tensorflow来实现 LeNet5 网络的训练和测试。【训练集是MINIST】

MNIST数据集是一个手写体数据集，数据集中每一个样本都是一个0-9的手写数字。该数据集由四部分组成，训练图片集，训练标签集，测试图片集和测试标签集。其中，训练集中有60000个样本，测试集中有10000个样本。每张照片均为28*28的二值图片，为方便存储，官方已对图片集进行处理，将每一张图片变成了维度为(1,784)的向量。

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
sess = tf.InteractiveSession()


def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)
  
def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                        strides=[1, 2, 2, 1], padding='SAME')  
                        
x = tf.placeholder(tf.float32, [None, 784])
y_ = tf.placeholder(tf.float32, [None, 10])
x_image = tf.reshape(x, [-1,28,28,1])
                        
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv), reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
tf.global_variables_initializer().run()
for i in range(1000):
    batch = mnist.train.next_batch(10)
    if i%100 == 0:
        train_accuracy = accuracy.eval(feed_dict={
        x:batch[0], y_: batch[1], keep_prob: 1.0})
        print("step %d, training accuracy %g"%(i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

print("test accuracy %g"%accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))

最终测试精度达到了%99.24