完整神经网络的样例程序

# 总结：
# 训练神经网络的过程可以分为以下三个步骤：
# 1、定义神经网络的结构和前向传播的输出结果
# 2、定义损失函数以及选择反向传播优化的算法
# 3、生成会话（tf.Session）并且在训练数据上反复运行反向传播优化算法



import tensorflow as tf
#NumPy是一个科学计算的工具包，这里通过NumPy生成模拟数据集
from numpy.random import RandomState

#定义训练数据batch的大小
batch_size = 8

#定义神经网络的参数
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

#在shape的一个维度上使用None可以方便使用不大的batch大小。在训练师要把数据
# 分成比较小的batch，但在测试时，可以一次性使用全部的数据。当数据及比较小时
# 这样比较方便测试，但数据集比较大时，将大量数据放入一个batch可能会导致内存溢出。
x = tf.placeholder(tf.float32, shape=(None, 2), name="x-input")
y_ = tf.placeholder(tf.float32, shape=[None, 1], name="y-input")

#定义神经网络向前传播的过程。
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

#定义损失函数和反向传播算法。
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))

train_step = tf.train.AdamOptimizer(0.001).minim