Tensorflow+CNN

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import  input_data

# 载入数据
mnist = input_data.read_data_sets('F:\Pycharm projection\MNIST_data',one_hot=True)

# 每个批次的大小
batch_size = 100
# 计算一共有多少个批次
n_batch = mnist.train.num_examples//batch_size

# 初始化权值
def weight_varible(shape):
    initial = tf.truncated_normal(shape,stddev=0.1)     # 生成一个截断的正太分布
    return tf.Variable(initial)

# 初始化偏置
def bias_variable(shape):
    initial = tf.constant(0.1,shape=shape)
    return tf.Variable(initial)

# 卷积层
"""
x input tensor of shape [batch,in_height,in_width,in_channels]
w filter / kernel tensor of shape[filter_height,filter_width,in_channels,out_channels]
Strides[0]=strides[3]=1,strides[1]代表x方向的步长，strides[2]代表y方向的步长
 padding: A string from:"SAME","VALID"
"""
def conv2d(x,W):
    return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')

# 池化层
# ksize[1,x,y,1] 窗口大小，x,y 方向
def max_pool_2x2(x):
    return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')

# 定义2个placeholder
x = tf.placeholder(tf.float32,[None,784])   #       28*28     行784列   输入是一维的，但图片是平面2维的，所以需要格式的转换
y = tf.placeholder(tf.float32,[None,10])

# 改变x格式转为4D的向量[batch,in_height,on_width,in_channels]
x_image = tf.reshape(x,[-1,28,28,1])     # 784复原为28*28，1代表图片是1维的黑白，如果是3代表是彩色图片，通道数1

# 初始化第一个卷积层的权值和偏置
w_conv1 = weight_varible([5,5,1,32]) # 5*5的采样窗口，32个卷积核从1个平面抽取特征
b_conv1 =bias_variable([32]) # 每一个卷积核一个偏置值

# 把x_image和权值向量进行卷积，再加上偏置值，然后应用于relu激活函数
h_conv1 = tf.nn.relu(conv2d(x_image,w_conv1)+ b_conv1)
h_pool1 = max_pool_2x2(h_conv1) # 进行max-pooling

# 初始化第二个卷积层的权值和偏置
w_conv2 =weight_varible([5,5,32,64]) # 5*5采样窗口，64个卷积核从32个平面抽取特征
b_conv2 =bias_variable([64])  # 每个卷积核一个偏置值

# 把h_pool1和权值向量进行卷积，再加上偏置值，然后应用于relu激活函数
h_conv2 = tf.nn.relu(conv2d(h_pool1,w_conv2)+ b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

"""
28*28的图片第一次卷积后还是28*28，第一次池化后变为14*14
第二次卷积后卫14*14，第二次池化后变为7*7
通过上面操作后得到64张7*7的平面
"""

# 初始化第一个全连接层的权值
w_fc1 =weight_varible([7*7*64,1024]) # 上一层有7*7*64个神经元，全连接层有1024个神经元
b_fc1 = bias_variable([1024]) # 1024个节点

# 把池化层的第二层输出扁平化为1维
h_pool2_flat = tf.reshape(h_pool2,[-1,7*7*64])  # -1 代表任意值，这儿是批次100
# 求第一个全连接层的输出
h_fc1 =tf.nn.relu(tf.matmul(h_pool2_flat,w_fc1)+b_fc1)

#keep_prob用来表示神经元的输出概率
keep_prob = tf.placeholder(tf.float32)
h_fc1_dropout =tf.nn.dropout(h_fc1,keep_prob)


# 初始化第二个全连接层
w_fc2 = weight_varible([1024,10])  # 10代表10个分类
b_fc2 = bias_variable([10])
# 计算输出
prediction = tf.nn.softmax(tf.matmul(h_fc1_dropout,w_fc2)+b_fc2)  # 值转化为概率输出

# 交叉熵代价函数
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
# 使用AdamOptimizer进行优化
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
# 结果存放在一个布尔列表中
correct_prediction = tf.equal(tf.argmax(prediction,1),tf.argmax(y,1))  # argmax返回一维张量中最大的值所在的位置
# 求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))  # cast作用把布尔型转成32位的float

# 初始化全局变量
init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(21):
        for batch in range(n_batch):
            batch_xs,batch_ys, = mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys,keep_prob:0.7})

        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})
        print('Iter'+str(epoch),'testing accuracy'+str(acc))

运行结果：

Iter0 testing accuracy0.9504

Iter1 testing accuracy0.9706

Iter2 testing accuracy0.9768

Iter3 testing accuracy0.9772

Iter4 testing accuracy0.984

Iter5 testing accuracy0.9846

 

Iter6 testing accuracy0.9857

Iter7 testing accuracy0.9883

Iter8 testing accuracy0.9871

Iter9 testing accuracy0.989

Iter10 testing accuracy0.9872

Iter11 testing accuracy0.9904

Iter12 testing accuracy0.9883

Iter13 testing accuracy0.989

Iter14 testing accuracy0.9878

Iter15 testing accuracy0.9907

Iter16 testing accuracy0.9911

Iter17 testing accuracy0.9899

Iter18 testing accuracy0.9905

Iter19 testing accuracy0.99

Iter20 testing accuracy0.9911

池化：

（1）max-pooling 最大池化

（2）mean-pooling平均池化

（3）随机池化

对于卷积操作：

SAME PADDING:给平面外部补0,卷积窗口采样后得到一个跟原来平面大小相同的平面。

VALID PADDING:不会超出平面外部，卷积窗口采样后得到一个比原来平面小的平面。

假如有一个28*28的平面，用2*2并且步长为2的窗口对其进行pooling操作 使用SAME PADDING的方式，得到14*14的平面
使用VALID PADDING的方式，得到14*14的平面 
假如有一个2*3的平面，用2*2并且步长为2的窗口对其进行pooling操作

使用SAME PADDING的方式，得到1*2的平面

使用VALID PADDING的方式，得到1*1的平面