TensorFlow实现mnist数字识别——CNN LeNet-5模型

一、概述LeNet-5模型 

    构成：卷积层--池化层--卷积层--池化层--全连接层--全连接层

    1.1 卷积层

        使用n*n的滤波器来进行图像信息的采集

        如下展示了一个3×3的卷积核在5×5的图像上做卷积的过程。每个卷积都代表了一种特征提取方式，就像一个筛子，将图像中符合条件（激活值越大越符合条件）的部分筛选出来。

        局部感受野其实是一个滤波的过程，也是一个对图像降维的过程。

        维度减小，深度加深

    

    1.2池化层

 

        池化是对特征向量的下采样，进一步降低了特征的维度，减少了计算量，并且使训练不容易出现过拟合现象。一般有两种池化方式，一种是平均池化（mean-pooling），一种是最大值池化（max-pooling）。池化也是一种滤波。

    1.3 全连接  full connect  

            w * x + b = y 

 

二、构建CNN层

    2.1 定义各个节点的相关参数

input_node  = 784   #输入层的节点数  相当于图片的像素28*28
output_node = 10    #输出层的节点数  相当于分类器的类别的个数
IMAGE_SIZE = 28
IMAGE_CHANNELS = 1
NUM_LABELS = 10
#第一层卷积尺寸和深度
CONV1_DEEP = 32
CONV1_SIZE = 5
#第二层卷积尺寸和深度
CONV2_DEEP = 64
CONV2_SIZE = 5
#全连接层的节点个数
FC_SIZE = 512

 

 

2.2 构建CNN网络

#================================== 第一层  卷积层 ==============================//
    with tf.variable_scope('layer1_cov1'):
        cov1_weights = tf.get_variable("weight",[CONV1_SIZE,
                                              CONV1_SIZE,
                                              IMAGE_CHANNELS,
                                              CONV1_DEEP],  #过滤器的深度
                                              initializer=tf.truncated_normal_initializer(stddev = 0.1))
        
        cov1_bias    = tf.get_variable("bias",[CONV1_DEEP],initializer = tf.constant_initializer(0.0))
        
        cov1 = tf.nn.conv2d(input_tensor,       #代表第几张图片
                            cov1_weights,       #权重
                            strides=[1,1,1,1],  #前后两位必须为1   中间代表步长step 长宽每次步进1
                            padding='SAME')     #采用0来填充图片
        
        #添加偏置项 + 计算结果正则化
        relu1  = tf.nn.relu(tf.nn.bias_add(cov1,cov1_bias))

#================================== 第二层 池化层 ===============================// 
    #这一层的输入为上一层的输出  即28*28*32   池化层选取的过滤器边长为2  使用全0填充
    #移动的步长也为2   因此 输出为14*14*32
    with tf.name_scope("layer2-pool1"):
        pool1 = tf.nn.max_pool(
            relu1,
            ksize=[1,2,2,1],    #过滤器的尺寸  首尾必须为1  中间代表过滤器的尺寸 2*2
            strides=[1,2,2,1],  #后两位必须为1   中间代表步长step 长宽每次步进2
            padding='SAME'      #采用0来填充图片
        )

#================================== 第三层  卷积层 ==============================//
    #这一层的输入为上一层的输出  即14*14*32  batch为5*5  使用全0填充
    #移动的步长也为1   因此 输出为14*14*64
    with tf.variable_scope('layer3_cov2'):
        cov2_weights = tf.get_variable("weight",[CONV2_SIZE,
                                              CONV2_SIZE,
                                              CONV1_DEEP,
                                              CONV2_DEEP],  #过滤器的深度
                                              initializer=tf.truncated_normal_initializer(stddev = 0.1))
        
        cov2_bias    = tf.get_variable("bias",[CONV2_DEEP],initializer = tf.constant_initializer(0.0))
        
        cov2 = tf.nn.conv2d(pool1,              #代表第几张图片
                            cov2_weights,       #权重
                            strides=[1,1,1,1],  #前后两位必须为1   中间代表步长step 长宽每次步进1
                            padding='SAME')     #采用0来填充图片
        
        #添加偏置项 + 计算结果正则化
        relu2  = tf.nn.relu(tf.nn.bias_add(cov2,cov2_bias))

#================================== 第四层 池化层 ===============================// 

    #这一层的输入为上一层的输出  即14*14*64   池化层选取的过滤器边长为2  使用全0填充
    #移动的步长也为2   因此 输出为7*7*64
    with tf.name_scope("layer4-pool2"):
        pool2 = tf.nn.max_pool(
            relu2,
            ksize=[1,2,2,1],    #过滤器的尺寸  首尾必须为1  中间代表过滤器的尺寸 2*2
            strides=[1,2,2,1],  #后两位必须为1   中间代表步长step 长宽每次步进2
            padding='SAME'      #采用0来填充图片
        )

#==================== 将第四层的输出转化为第五层全连接的输入格式 ======================//     

    #7*7*64的矩阵拉成一维向量  3136
    pool_shape = pool2.get_shape().as_list()
    nodes = pool_shape[1] * pool_shape[2] * pool_shape[3]
    #将第四层输出变成一个batch的向量
    reshaped = tf.reshape(pool2,[pool_shape[0],nodes])

#================================== 第五层 全连接1 ===============================//

    #将3136的一维数组经过全连接之后输出512
	# 输入reshaped  为 1*3136
	# w为3136*512
	# b为1*512
	# 输出fc1为 1*512

    with tf.variable_scope('layer5_fc1'):
        fc1_weights = tf.get_variable("weight",[nodes,
                                             FC_SIZE],  # 全连接尺寸
                                            initializer=tf.truncated_normal_initializer(stddev = 0.1))

        #加入正则化
        if regularizer!=None:
            tf.add_to_collection('losses',regularizer(fc1_weights)) #将当前变量的正则化损失加入losses集合

        fc1_biasws =  tf.get_variable("bias",[FC_SIZE],initializer = tf.constant_initializer(0.1))
        fc1  = tf.nn.relu(tf.matmul(reshaped,fc1_weights)+fc1_biasws)
        if train:
            fc1 = tf.nn.dropout(fc1,0.5)  #丢弃掉部分点  防止过拟合

#================================== 第六层 全连接2 ===============================//         

    #将512的一维数组经过全连接之后输出10
	# fc1  为 1*512
	# w为512*10
	# b为1*10
	# 输出fc1为 1*10

    with tf.variable_scope('layer6_fc2'):
        fc2_weights = tf.get_variable("weight",[FC_SIZE,
                                             NUM_LABELS],  # 全连接尺寸
                                            initializer=tf.truncated_normal_initializer(stddev = 0.1))

        #加入正则化
        if regularizer!=None:
            tf.add_to_collection('losses',regularizer(fc2_weights)) #将当前变量的正则化损失加入losses集合            
        fc2_biasws =  tf.get_variable("bias",[NUM_LABELS],initializer = tf.constant_initializer(0.1))        
        logit  = tf.matmul(fc1,fc2_weights)+fc2_biasws

三、定义训练过程

四、定义测试过程

        同http://blog.csdn.net/yunge812/article/details/79347905

下载地址：

        http://download.csdn.net/download/yunge812/10255801

=======================================================================

最近新开的公众号，文章正在一篇篇的更新，

公众号名称：玩转电子世界

各位朋友有什么问题了可以直接在上面提问，我会一一进行解答的。

跟着阳光非宅男，一步步走进电子的世界。

关注之后回复  资料下载  关键词可以获得免费海量的视频学习资料下载~~！

已共享的学习视频资料，共享资料正在不断更新中。

共享机器学习/tensorflow视频学习资料：

=======================================================================