很久以前写的代码,冒个泡
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)
def weight_variable(shape):
initial =tf.truncated_normal(shape,stddev=0.1)
#此处给权重加标准差为0.1的正态分布的截断噪声打破完全对称
return tf.Variable(initial) #用variable来声明变量
def bias_variable(shape):
initial=tf.constant(0.1,shape=shape)
#给偏置增加噪声,防止死亡节点
return tf.Variable(initial)
def conv2d(x,W):
return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')
#此处为二维卷积函数,参数(输入,参数,步长,边界处理)
#参数:[卷积核尺寸,卷积核尺寸,通道,卷积核数目]
#边界处理:SAME表示卷积的输入输出尺寸相同
'''第一个参数input:指需要做卷积的输入图像,它要求是一个Tensor,
具有[batch, in_height, in_width, in_channels]这样的shape,具体
含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道
数],注意这是一个4维的Tensor,要求类型为float32和float64其中之一
第二个参数filter:相当于CNN中的卷积核,它要求是一个Tensor,具
有[filter_height, filter_width, in_channels, out_channels]这样的shape
,具体含义是[卷积核的高度,卷积核的宽度,图像通道数,卷积核个数],
要求类型与参数input相同,有一个地方需要注意,第三维in_channels,
就是参数input的第四维
第三个参数strides:卷积时在图像每一维的步长,这是一个一维的向量,长度4
第四个参数padding:string类型的量,只能是"SAME","VALID"其中之一,这个值
决定了不同的卷积方式(后面会介绍)
第五个参数:use_cudnn_on_gpu:bool类型,是否使用cudnn加速,默认为true'''
def max_pool_2x2(x):
return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')
#tf.nn.max_pool(value, ksize, strides, padding, name=None)
''' 参数是四个,和卷积很类似:
第一个参数value:需要池化的输入,一般池化层接在卷积层后面,所以输入通常
是feature map,依然是[batch, height, width, channels]这样的shape
第二个参数ksize:池化窗口的大小,取一个四维向量,一般是[1, height, width, 1],
因为我们不想在batch和channels上做池化,所以这两个维度设为了1
第三个参数strides:和卷积类似,窗口在每一个维度上滑动的步长,
一般也是[1, stride,stride, 1]
第四个参数padding:和卷积类似,可以取'VALID' 或者'SAME'
返回一个Tensor,类型不变,shape仍然是[batch, height, width, channels]这种形式'''
x=tf.placeholder(tf.float32,[None,784])
y_=tf.placeholder(tf.float32,[None,10])
#输入变量
x_image=tf.reshape(x,[-1,28,28,1])
#一维转图,[数量,尺寸,尺寸,通道]
W_conv1=weight_variable([5,5,1,32])
b_conv1=bias_variable([32])
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)#卷积1
h_pool=max_pool_2x2(h_conv1)#池化1
W_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])
h_conv2=tf.nn.relu(conv2d(h_pool,W_conv2)+b_conv2)
h_pool2=max_pool_2x2(h_conv2)
#两次2x2的池化后,图像尺寸缩小为1/4,即7X7,有64个feature map,
# 则输出tensor尺寸为7×7*64,
W_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)
#dropout
keep_prob=tf.placeholder(tf.float32)
h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)
#softmax
W_fc2=weight_variable([1024,10]) #前一层的1024个隐含节点,10类
b_fc2=bias_variable([10])
y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2)+b_fc2)
#交叉熵
cross_entropy=tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y_conv),reduction_indices=[1]))
train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction=tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
#tf.global_variables_initializer().run()
sess=tf.Session()
sess.run(tf.global_variables_initializer())
for i in range(20000):
batch=mnist.train.next_batch(50)
if i%100==0:
train_accuracy=accuracy.eval(session=sess,feed_dict={x:batch[0],y_:batch[1],keep_prob:1.0})
print("step:%d,train accuracy %g"%(i,train_accuracy))
train_step.run(session=sess,feed_dict={x:batch[0],y_:batch[1],keep_prob:0.5})
print("test accuracy %g"%accuracy.eval(session=sess,feed_dict={x:mnist.test.images,
y_:mnist.test.labels,keep_prob:1.0}))