总结神经网络三个不变的步骤

训练神经网络的过程：

1. 定义神经网络的结构和前向传播的输出结果

2. 定义损失函数以及选择反向传播优化的算法

3. 生成会话 tf.Session 并且再训练数据上反复运行反向传播优化算法

import tensorflow as tf

dataSet_Size = 2000
batch_size = 64
alpha = 0.001

'''
Step 1 定义神经网络的结构 单层网络 和 前向传播的输出结果 y
'''
x = tf.placeholder(tf.float32, shape=(batch_size, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(batch_size, 1), name='y-input')
w = tf.Variable(tf.random_normal([2, 1], stddev=1, seed=1))
y = tf.matmul(x, w)

'''
Step 2 定义损失函数 loss function 选择反向传播优化算法 AdamOptimizer
'''
loss = tf.reduce_sum(y - y_)
train_step = tf.train.AdamOptimizer(alpha)

'''
Step 3 生成会话 tf.Session 并且在训练数据(x, y_)上反复运行反向传播优化算法
'''
with tf.Session() as sess:
    # 初始化参数
    init_op = tf.initialize_all_variables()
    sess.run(init_op)
    # 开始迭代
    steps = 5000
    for i in range(steps):
        start = (i * batch_size) % dataSet_Size
        end = min(start+batch_size, dataSet_Size)
        # feed_dict 指定输入数据给 placeholder
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})
    print(sess.run(w))