Tensorflow实现简单卷积神经网络

CNN作为一个深度学习框架结构被提出的最初诉求，是用来降低对图像数据预处理的要求，以及避免复杂的特征工程。CNN可以直接使用图像的原始像素作为输入，而不必先使用SIFT等算法提取特征，减轻了使用传统算法如SVM时必需要做的大量重复、繁琐的数据预处理工作。和SIFT等算法类似，CNN训练的模型同样对缩放、评议、旋转等畸变具有不变形，有很强的泛化性。

CNN的最大特点在于权值共享

一般的卷积神经网络由多个卷积层构成，每个卷积层中通常会有如下操作：

1. 图像通过多个不同的卷积核的滤波，并加偏置(bias)，提取出局部特征
2. 将前面的卷积核的滤波输出结果，进行非线性的激活函数处理。现在常用ReLU函数
3. 对激活函数进行池化操作(即降采样，比如将2x2的图片将为1x1的图片)，目前一般是使用最大池话，保留最显著的特征，并提升模型的畸变容忍能力。

这几个步骤构成了常见的卷积层，当然还可以加上各种 Trick 比如LRN(Local response Normalization)等

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist=input_data.read_data_sets("MNIST_data/",one_hot=True)
sess=tf.InteractiveSession()

#定义权重和偏置的初始化函数 以便重复使用

def weight_variable(shape):
	initial=tf.truncated_normal(shape,stddev=0.1)   #利用截断正太分布给权重制造噪声，打破完全对称
	return tf.Variable(initial)

def bias_variable(shape):                           #因为使用relu 所以给偏置增加一些小的正值（0.1）来避免死亡节点
	initial=tf.constant(0.1,shape=shape)
	return tf.Variable(initial)

#为卷积层和池化层定义创建函数

def conv2d(x,W):
	return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')

def max_pool_2x2(x):
	return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')


x=tf.placeholder(tf.float32,[None,784])
x_image=tf.reshape(x,[-1,28,28,1])
y_=tf.placeholder(tf.float32,[None,10])

#第一个卷积层
W_conv1=weight_variable([5,5,1,32])
b_conv1=bias_variable([32])
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)
#池化层
h_pool1=max_pool_2x2(h_conv1)
#第二个卷积层
W_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])
h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)
#池化层
h_pool2=max_pool_2x2(h_conv2)

#全连接层
W_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)

#使用一个dropout层 减轻过拟合
keep_prob=tf.placeholder(tf.float32)
h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)

#连接softmax层 得到最后的概率
W_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2)+b_fc2)

#-------step2 定义损失函数 选择优化函数 ---------#
cross_entropy=tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y_conv),reduction_indices=[1]))
train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

#-------step3 测评准确率 ----------------------#
correct_prediction=tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

# train step #
tf.global_variables_initializer().run()
for i in range(20000):
	batch=mnist.train.next_batch(50)
	train_step.run(feed_dict={x:batch[0],y_:batch[1],keep_prob:0.5})

print("test accuracy %g"%accuracy.eval(feed_dict={x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0}))

实现一般卷积神经网络的步骤：

step0:从实体提取的特征向量，特征向量的提取对机器学习的效果至关重要。

step1: 定义神经网络的结构，并定义如何从神经网络的输入得到输出即：定义计算图data flow，这个过程就是神经网络的向前传播算法。

step2:定义loss, 选择优化器，选择反向转播的优化算法

step3:迭代训练

step4:在测试集上对准确率进行评测

总结：

1. 不难发现，卷积层一般需要和一个池化层连接，卷积+池化的组合目前已经是图像识别的一个基本组件了。卷积网络最后的全连接层的作用则是输出分类结果。
2. 卷积层主要做特征提取工作，全连接层才开始对特征进行组合匹配并分类。
3. 全连接层比较简单，基本就是进行矩阵的运算
4. 卷积层比较复杂，需要用到很多Trick.