TensorFlow实现简单卷积神经网络

1、卷积神经网络简介

卷积神经网络（Convolutional Neural Network, CNN）作为一个深度学习架构被提出的最初诉求，是降低对图像数据预处理的要求，以及避免复杂的特征工程。CNN不需要将特征提取和分类训练分开，它在训练的时候就自动提取了最有效的特征。
CNN最大的特点是卷积的权值共享结构，可以大幅度减少神经网络的参数量，防止过拟合的同时又降低了神经网络模型的复杂度。

一个卷积神经网络由多个卷积层构成，每个卷积层中通常会进行如下几个操作。
（1）图像通过多个不同的卷积核的滤波，并加偏置，提取出局部特征，每个卷积核会映射一个新的2D图像。
（2）将前面的输出结果进行非线性的激活函数处理。常见的是ReLU。
（3）对激活函数的结果再进行池化操作（即降采样），目前一般是使用最大池化，保留最显著的特征，并提升模型的畸变容忍能力。

2、TensorFlow实现简单CNN

实现步骤：
1、定义常用函数：初始化权重、初始化偏置、卷积操作、池化操作
2、输入数据
3、第一卷积层，第二卷积层，全连接层，激活
4、减轻过拟合
5、输出层
6、定义损失函数，优化器用的Adam
7、定义测评准确率
8、训练
9、得到整体的分类准确率

3、代码如下

#加载MNIST数据
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
#mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)
mnist = input_data.read_data_sets(r'H:\MNISTdata',one_hot=True)     #手动下载好之后用路径加载
sess = tf.InteractiveSession()

#定义权重、偏置初始化函数
def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)        #给权重制造一些随机的噪声来打破完全对称
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)                 #给偏置增加一些小的正值（0.1）来避免死亡节点
    return tf.Variable(initial)

#定义卷积、池化
def conv2d(x, W):               #strides都是1说明会不留遗漏的划过图片的每个点
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):            #将2x2的像素降为1x1的像素
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1],
                          padding='SAME')

#定义输入的placeholder
x = tf.placeholder(tf.float32, [None, 784])
y_ = tf.placeholder(tf.float32, [None, 10])
x_image = tf.reshape(x, [-1,28,28,1])

#定义第一个卷积层
W_conv1 = weight_variable([5, 5, 1, 32])        #初始化权重
b_conv1 = bias_variable([32])                   #初始化偏置
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)        #进行卷及操作，并加上偏置，再用激活函数进行非线性处理
h_pool1 = max_pool_2x2(h_conv1)                                 #池化操作

#定义第二个卷积层
W_conv2 = weight_variable([5, 5, 32, 64])        #初始化权重
b_conv2 = bias_variable([64])                   #初始化偏置
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)        #进行卷及操作，并加上偏置，再用激活函数进行非线性处理
h_pool2 = max_pool_2x2(h_conv2)                                 #池化操作

#将第二个卷积层的输出进行变形，并将其转成1D的向量，然后连接一个全连接层，隐含节点为1024，并用ReLU激活
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

#减轻过拟合
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

#将dropout层的输出连接一个softmax层，得到最后的概率
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2) + b_fc2)

#定义损失函数，优化器用Adam
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y_conv),
                                              reduction_indices=[1]))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

#定义评测准确率
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

#训练
tf.global_variables_initializer().run()
for i in range(2000):
    batch = mnist.train.next_batch(50)
    if i%100 ==0:
        train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_: batch[1],
                                                  keep_prob:1.0})
        print("step %d, training accuracy %g"%(i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

#得到整体的分类准确率
print("test accuracy %g"%accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
    

上一篇：链接: 多层感知机.
下一篇：链接: TensorFlow实现进阶卷积神经网络.