Tensorflow实战-CNN网络Mnist识别

这篇笔记是在阅读Tensorflow中文文档时做的笔记，只记录了一些我认为需要记录的地方，其他问题大家可以评论，我们共同探讨。

1、权重初始化
这个模型中的权重在初始化时应该加入少量的噪声来打 破对称性以及避免0梯度。破对称性以及避免0梯度。由于我们使用的是ReLU神经元，因此比较好的做法是用一个较小的正数来初始化偏置 项，以避免神经元节点输出恒为0的问题（dead neurons）。

#w采用截断的正态分布，标准差为0.1
def weight_variable(shape): 
	initial = tf.truncated_normal(shape, stddev=0.1) 
	return tf.Variable(initial)
#b为0.1
def bias_variable(shape): 
	initial = tf.constant(0.1, shape=shape) 
	return tf.Variable(initial)

2、每一层的实现 <