tensorflow—卷积神经网络（例：手写数字识别）

传统的神经网络中的不足：

上图中，我们需要计算的权值非常多，就需要大量的样本训练，我们模型的构建，需要根据数据的大小来建立，防止过拟合，以及欠拟合。

因此，cnn算法通过感受野和权值共享减少了神经网络需要训练的参数个数，如图：

所以，卷积算法操作如下：



上述卷积核，步长是1

4=11+11+11+11，依此类推。
上述的卷积核，类似于一个滤波器，例如下图：

上述图片经过不同的卷积核得出不同的特征图，不同卷积核可以对图片不同的特征进行采样。

在卷积神经网络中分为卷积层和池化层
池化中：max-pooling即为取44中最大值组成22的池化结果
mean-pooling即为分为几个区域取其中的平均值
另外还有个随机池化，即为在几个区域中找到几个随机数据

卷积操作：

same padding：给外部补零，得到一个比原平面大的平面，然后卷积窗口采样后，得到一个和原来一样大的平面
valid padding：得到一个比原来平面小的平面，不会超出平面外部

所以：
cnn结构如下：
例如，一张图片，操作如下：卷积-池化-卷积-池化-卷积-池化-全连接层-结果。
通过tensorflow-cnn卷积网络实现手写数字识别：

import  tensorflow as tf#9.50
from tensorflow.examples.tutorials.mnist import input_data
#载入数据集
mnist=input_data.read_data_sets("MNNIST_data",one_hot=True)#下载网上的数据集
#print(mnist)
#每个批次的大小,每次放入100张图片放入神经网络训练。
batch_size=100
#计算一共有多少批次
n_bach=mnist.train.num_examples//batch_size#//整除
#初始化权值
def weight_variable(shape):
    inital=tf.truncated_normal(shape,stddev=0.1)
    return tf.Variable(inital)
#初始化偏置值
def bias_variable(shape):
    initial=tf.constant(0.1,shape=shape)
    return tf.Variable(initial)
#卷积层
def conv2d(x,W):
    return  tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')
    #使用了这个库,tf.nn.conv2d
#池化层
def max_pool_2(x):
    return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')
#定义两个placeholder
x=tf.placeholder(tf.float32,[None,784])#784列
y=tf.placeholder(tf.float32,[None,10])#0-9,10个数字
#改变x的格式转为4d向量[batch，in_height,in_width,in_channels]
x_image=tf.reshape(x,[-1,28,28,1])

#初始化第一个卷积层的权值和偏置值
W_conv1=weight_variable([5,5,1,32])#采用5*5的采样窗口，32个卷积核从1个平面抽取特征
b_conv1=bias_variable([32])#每个卷积核一个偏置值
#把x_image和权值向量进行卷积，再加上偏置值，然后应用于relu激活函数
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)
h_pool1=max_pool_2(h_conv1)#进行max-pooling

#初始化第二个卷积层的权值和偏置值
W_conv2=weight_variable([5,5,32,64])#采用5*5的采样窗口，32个卷积核从1个平面抽取特征
b_conv2=bias_variable([64])#每个卷积核一个偏置值
#把x_image和权值向量进行卷积，再加上偏置值，然后应用于relu激活函数
h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)
h_pool2=max_pool_2(h_conv2)#进行max-pooling

#初始化第一个全连接的权值
W_fcl=weight_variable([7*7*64,1024])#上一场有7*7*64个神经元，全连接层有1024个神经元
b_fcl=bias_variable([1024])#1024个节点
#把池化层2的输出扁平化维一维
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
#求第一个全连接的输出
h_fcl=tf.nn.relu(tf.matmul(h_pool2_flat,W_fcl)+b_fcl)
#keep_prob表示神经元的输出概率
keep_prob=tf.placeholder(tf.float32)
h_fcl_drop=tf.nn.dropout(h_fcl,keep_prob)

#初始化第二个全连接层
W_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])
#计算输出
prediction=tf.nn.softmax(tf.matmul(h_fcl_drop,W_fc2)+b_fc2)
#交叉熵代价函数
cross_entropy=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用Adamoptimizer进行优化
train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
#结果存放在一个布尔列表中
correct_prediction=tf.equal(tf.argmax(prediction,1),tf.argmax(y,1))#argmax返回一维张量中最大值所在位置
#求准确率
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
with tf.Session()as sess:
    sess.run(tf.global_variables_initializer())
    #把所有图片训练21次
    for epoch in range(21):
        # 执行一次，即为把训练集的所有图片循环一次
        for batch in range(n_bach):
            #获取100张图片，图片数据保存在_xs,标签保存在ys
            batch_xs,batchys=mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batchys,keep_prob:0.7})
        #传进测试集，数据集的数据
        acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})
        print("第"+str(epoch)+"准确率："+str(acc))

其中，第一次的准确率就可以达到0.9554.