TensorFlow 训练 神经网络(p59)

TensorFlow 训练 神经网络(p59)

神经网络反向传播优化流程图

参考书本：TensorFlow 实战google深度学习框架

# -*- coding: utf-8 -*-
"""
Created on Sat Jun 23 16:15:17 2018

@author: 14164
"""

import tensorflow as tf

# Numpy 是一个科学计算的工具包，这里通过Numpy 工具包升程模拟数据集。
from numpy.random import RandomState

# 定义训练数据batch 的大小。
batch_size = 8

以上是选取部分训练数据，batch =8

# 定义神经网络参数，这里还是沿用3.4.2节中给出的神经网络结构。
w1 = tf.Variable(tf.random_normal([2,3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3,1], stddev=1, seed=1))

# 在shape 的一个维度上使用None 可以方便使用不同的batch 大小。在训练时需要把数据分成
# 比较小的batch, 但是在测试时，可以一次性使用全部的数据。当属聚集比较小时这样比较
# 方便测试，单数据比较大时，将大量数据放入一个batch 可能会导致内存溢出。
x = tf.placeholder(tf.float32, shape=(None,2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None,1), name='y-input')

# 通过3.4.2节描述的前向传播算法获得神经网络的输出。
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

以上是神经网络结构， y是前向传播的神经网络的输出

# 定义损失函数和反向传播算法。
y = tf.sigmoid(y) # 使用sigmoid 函数将y 转换为0-1 之间的数值。
cross_entropy = -tf.reduce_mean(
        y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0))
        +(1-y)*tf.log(tf.clip_by_value(1-y, 1e-10, 1.0)))
learning_rate = 0.001
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)

以上是损失函数 与 反向传播算法

# 通过随机数生成一个模拟数据集。
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size,2)
# 定义规则来给出样本标签。在这里所有x1+x2<1 的样本都被认为市政样本（比如零件合格）。
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]

以上是数据集

# 创建一个会话来运行TensorFlow 程序。
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)  # 初始化变量

    print(sess.run(w1))
    print(sess.run(w2))

    # 设定训练的轮数。
    STEPS = 5000
    for i in range(STEPS):
        ''' 第一步.
        每次选取batch_size 个样本进行训练。'''
        start = (i * batch_size) % dataset_size # (5000*8)%128 
        end = min(start+batch_size, dataset_size) # 重点

        ''' 第二步 与 第三步.
        通过选取的样本训练神经网络 并 更新参数'''
        sess.run(train_step,
                    feed_dict = {x: X[start:end], y_: Y[start:end]})

        if i % 1000 == 0:
            # 每隔一段时间计算所有的数据上的交叉熵并输出。
            total_cross_entropy= sess.run(
                    cross_entropy, feed_dict={x: X, y_: Y})
        print('After %d tarining step(s), cross entropy on all data is %g' %
                  (i,total_cross_entropy))

    print(sess.run(w1))
    print(sess.run(w2))