（手势识别）基于tensorflow的卷积神经网络构建（一）：卷积层+池化层

首先贴出一段基于tensorflow的cnn算法程序，为了能清楚了解程序是怎么运行及各部分原理，我们一句一句的解析。
下面展示一段简单的卷积神经网络

def CNN_tensorflow(x):
    weight1=variable_with_weight_loss(shape=[5,5,3,64],stddev=5e-2,wl=0.0)
    kernel1=tf.nn.conv2d(x,weight1,[1,1,1,1],padding='SAME')
    bias1=tf.Variable(tf.constant(0.0,shape=[64]))
    conv1=tf.nn.relu(tf.nn.bias_add(kernel1,bias1))
    pool1=tf.nn.max_pool(conv1,ksize=[1,3,3,1],strides=[1,2,2,1],padding='SAME')
    norm1=tf.nn.lrn(pool1,4,bias=1.0,alpha=0.001/9.0,beta=0.75)

    weight2=variable_with_weight_loss(shape=[5,5,64,64],stddev=5e-2,wl=0.0)
    kernel2=tf.nn.conv2d(norm1,weight2,[1,1,1,1],padding='SAME')
    bias2=tf.Variable(tf.constant(0.0,shape=[64]))
    conv2=tf.nn.relu(tf.nn.bias_add(kernel2,bias2))
    norm2=tf.nn.lrn(conv2,4,bias=1.0,alpha=0.001/9.0,beta=0.75)
    pool2=tf.nn.max_pool(norm2,ksize=[1,3,3,1],strides=[1,2,2,1],padding='SAME')

    reshape=tf.reshape(pool2,[-1,8*8*64])
    dim=reshape.get_shape()[1].value
    weight3=variable_with_weight_loss(shape=[dim,384],stddev=0.04,wl=0.004)
    bias3=tf.Variable(tf.constant(0.1,shape=[384]))
    local3=tf.nn.relu(tf.matmul(reshape,weight3)+bias3)

    weight4=variable_with_weight_loss(shape=[384,192],stddev=0.04,wl=0.004)
    bias4=tf.Variable(tf.constant(0.1,shape=[192]))
    local4=tf.nn.relu(tf.matmul(local3,weight4)+bias4)

    weight5=variable_with_weight_loss(shape=[192,5],stddev=1/192.0,wl=0.0)
    bias5=tf.Variable(tf.constant(0.0,shape=[5]))
    logits=tf.add(tf.matmul(local4,weight5),bias5)
    return logits

从这整体来看，前两段为卷积层与池化，所以直接从第一段入手

weight1=variable_with_weight_loss(shape=[5,5,3,64],stddev=5e-2,wl=0.0)
kernel1=tf.nn.conv2d(x,weight1,[1,1,1,1],padding='SAME')
bias1=tf.Variable(tf.constant(0.0,shape=[64]))
conv1=tf.nn.relu(tf.nn.bias_add(kernel1,bias1))
pool1=tf.nn.max_pool(conv1,ksize=[1,3,3,1],strides=[1,2,2,1],padding='SAME')
norm1=tf.nn.lrn(pool1,4,bias=1.0,alpha=0.001/9.0,beta=0.75)

卷积

weight1=variable_with_weight_loss(shape=[5,5,3,64],stddev=5e-2,wl=0.0)

• variable_with_weight_loss 函数创建卷积核参数初始化
• shape设定卷积核大小为5x5,3个颜色通道，64个卷积核
• stddev设置weight初始化函数标准差0.05
• wl(weight loss)设为0。此处的wl 即weight loss是对计算进行L2正则化的操作所需要的参数，此处0表示未进行L2正则化。

tf.nn.conv2d(x,weight1,[1,1,1,1],padding=‘SAME’)

• tf.nn.conv2d进行的是卷积操作，操作对象为x即函数的输入。同时步长设定为1（卷积操作时每次移动的步数）
• padding模式为SAME

注：padding模式在卷积操作中指的是为了防止个别数据的丢弃，在输入的四周填充一定的边界。基本分为三种方式，Same，Valid，及Full

卷积之后，进行偏差的初始化，这里定义偏差为0即不考虑偏差

这部分首先应该知道tf.constant的用处

tf.constant(value, shape, dtype=None, name=None)

• value 表示值，可以为数组
• shape 表示数据形状，shape[2,
  3]为两行三列，同理shape[64]为64维矩阵，对应的是64个卷积核；第三个dtype是数据类型，例如int，char；
• bias 表示数据类型，例如int，char

而tf.Variable的目的是进行集体初始化，在tensorflow中进行变量初始化，如果不适用该函数，则输出值可能会出现不理解的结果

tf.Variable（initializer， name = None）

• initializer表示初始化参数，可以有tf.random_normal，tf.constant，tf.constant等

在偏差定义过后，引入激励函数作为卷积后的处理。

tf.nn.relu(features, name = None)

• features表示每个通道的输入
• name 表示命名

此处激励函数relu：f(x) = max(0, x) 大于0为原值，小于0变0。

池化

tf.nn.max_pool（value, ksize, strides, padding, name=None)

一般，池化可以采用的是平均池化或者最大池化。本次采用的是最大池化。

局部响应归一

在池化之后，基于人类神经元工作方式，在最后一步进行一次局部响应归一

tf.nn.lrn(input,depth_radius=None,bias=None,alpha=None,beta=None,name=None)

• input 表示输入数据，
• depth_radius 表示使用前后几层进行归一化操作，
• bias 表示偏移量，
• alpha 和 beta 表示系数。

ps：修改时间：11.12.20.24