卷积神经网络CNN

一、CNN简介
1.卷积神经网络最常被应用的方面是计算机的图像识别

2.卷积神经网络不再是对每个像素的输入信息做处理了,而是图片上每一小块像素区域进行处理,加强了图片信息的连续性. 使得神经网络能看到图形, 而非一个点.

3.图片被卷积的过程：
图片有长, 宽, 高 三个参数. 如果是黑白照片的话, 高的单位就只有1, 如果是彩色照片, 就可能有红绿蓝三种颜色的信息, 这时的高度为3.
过滤器不断在图片中收集小批的像素块, 收集完所有信息后, 输出的值. 我们可以理解成是一个高度更高,长和宽更小的”图片”. 这个图片里就能包含一些边缘信息.

4.抽取信息方式padding
①valid：从图片的边缘抽取，抽取后图片缩小

②same：从图片的外边缘抽取，抽取后图片大小不变

5.池化pooling
解决每一次卷积的时候,神经层可能会无意地丢失一些信息.有两种方法：最大值池化法和平均值池化法

二、CNN神经网络

##################导入数据#########################
import tensorflow as tf
from tensorflow.examples.tutorials.mnist 
import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
#################计算准确度########################
def compute_accuracy(v_xs, v_ys):
    global prediction
    y_pre = sess.run(prediction, feed_dict={xs: v_xs, keep_prob: 1})
    correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(v_ys,1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    result = sess.run(accuracy, feed_dict={xs: v_xs, ys: v_ys, keep_prob: 1})
    return result
###########定义参数####################
def weight_variable(shape):
    #随机生成，标准差为0.1
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

#定义卷积，tf.nn.conv2d函数是tensoflow里面的二维的卷积函数，x是图片的所有参数，W是此卷积层的权重，然后定义步长strides=[1,1,1,1]值，strides[0]和strides[3]的两个1是默认值，中间两个1代表padding时在x方向运动一步，y方向运动一步。
def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

#定义池化pooling，为了得到更多的图片信息，padding时我们选的是一次一步，也就是strides[1]=strides[2]=1，这样得到的图片尺寸没有变化，而我们希望压缩一下图片也就是参数能少一些从而减小系统的复杂度，因此我们采用pooling来稀疏化参数，也就是卷积神经网络中所谓的下采样层。池化的核函数大小为2x2，因此ksize=[1,2,2,1]，步长为2。
def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')

##############定义参数####################
#输入图片的像素是28x28，784个特征
xs = tf.placeholder(tf.float32, [None, 784])
#输出10个特征
ys = tf.placeholder(tf.float32, [None, 10])
#防止过度拟合
keep_prob = tf.placeholder(tf.float32)
#把xs的形状变成[-1,28,28,1]，-1代表先不考虑输入的图片例子多少这个维度，后面的1是channel的数量，因为我们输入的图片是黑白的，因此channel是1，例如如果是RGB图像，那么channel就是3。
x_image = tf.reshape(xs, [-1, 28, 28, 1])
##########第一层卷积#####################
#定义本层的Weight,本层我们的卷积核patch的大小是5x5，因为黑白图片channel是1所以输入是1，输出是32个featuremap
W_conv1 = weight_variable([5,5, 1,32]) 
#定义bias，它的大小是32个长度，因此我们传入它的shape为[32]
b_conv1 = bias_variable([32])
#对h_conv1进行非线性处理，用的是tf.nn.relu（修正线性单元）来处理，因为采用了SAME方式，输出图片的大小没有变化是28x28，只是变厚了，因此现在的输出大小就变成了28x28x32
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
#进行pooling处理，输出大小就变为了14x14x32
h_pool1 = max_pool_2x2(h_conv1)
##########第二层卷积#####################
W_conv2 = weight_variable([5,5, 32, 64]) 
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) # output size 14x14x64
h_pool2 = max_pool_2x2(h_conv2)# output size 7x7x64

##########建立全连接第一层#####################
#tf.reshape()将h_pool2的输出值从一个三维的变为一维的数据, -1表示先不考虑输入图片例子维度, 将上一个输出结果展平
W_fc1 = weight_variable([7*7*64, 1024])
#weight_variable的shape输入就是第二个卷积层展平了的输出大小: 7x7x64， 后面的输出size我们继续扩大，定为1024
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])

h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
##########建立全连接第二层#####################
#，输入为1024位，输出0-9有10位
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

#误差
cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction),reduction_indices=[1]))
#优化选择AdamOptimizer，学习效率越小越好
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
####################训练#######################
for i in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={xs: batch_xs, ys: batch_ys, keep_prob: 0.5})
    if i % 50 == 0:
        print(compute_accuracy(mnist.test.images[:1000], mnist.test.labels[:1000]))