一个简单的tensorFlow关于神经网络的示例

一个简单的tensorFlow关于神经网络的示例

这个示例源自《实战Google 深度学习框架》一书的第三章，实现了一个简单的前向网络的算法。下面挂完整的代码

import tensorflow as tf

from numpy.random import RandomState

batch_size = 8

w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

x = tf.placeholder(tf.float32, shape=(None, 2), name='x-inout')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-inout')

a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

y = tf.sigmoid(y)

cross_entropy = -tf.reduce_mean(
    y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)) + (1 - y) * tf.log(tf.clip_by_value(1 - y, 1e-10, 1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[int(x1 + x2 < 1)] for (x1, x2) in X]

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)

    print(sess.run(w1))
    print(sess.run(w2))

    Steps = 5000
    for i in range(Steps):
        start = (i * batch_size) % dataset_size
        end=min(start+batch_size,dataset_size)

        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i%1000==0:
            total_cross_entropy=sess.run(cross_entropy,feed_dict={x:X,y_:Y})
            print("after %d training step(s),cross entropy on all data is %g",(i,total_cross_entropy))

    print(sess.run(w1))
    print(sess.run(w2))

根据代码进行分析：

w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

表示初始化两个权重，其中w1是2*3的矩阵，其元素为正态分布（random_normal），并且标准差为1（stddev=1）；同理，w2是一个3*1的矩阵。需要强调的是，这里只是定义了矩阵，并没有实际的运算赋值。

x = tf.placeholder(tf.float32, shape=(None, 2), name='x-inout')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-inout')

以上两行代码意味着生成了两个输入向量x，y_,placeholder函数分别定义了（数据类型，维度，名字）。shape（None，2）代表第一维为空，第二维有两个元素。这里使用None是为了可以使用不同的batch大小。

a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

y = tf.sigmoid(y)

这里表示了正向运算的过程，通过线性变换并且使用激励函数sigmoid得到一个y值，这个值就是计算（估计）出的结果。

cross_entropy = -tf.reduce_mean(
    y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)) + (1 - y) * tf.log(tf.clip_by_value(1 - y, 1e-10, 1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

这里是写了一个简单的损失函数，函数的具体工作就是通过反馈网络实现权重w1与w2的更新，知道损失函数的值达到“最小时”，认为权重w1与w2稳定并趋于最优解。

rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[int(x1 + x2 < 1)] for (x1, x2) in X]

这里规定了数据集的元素个数，以及生成了输入向量X以及真实结果向量Y

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)

    print(sess.run(w1))
    print(sess.run(w2))

    Steps = 5000
    for i in range(Steps):
        start = (i * batch_size) % dataset_size
        end=min(start+batch_size,dataset_size)

        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i%1000==0:
            total_cross_entropy=sess.run(cross_entropy,feed_dict={x:X,y_:Y})
            print("after %d training step(s),cross entropy on all data is %g",(i,total_cross_entropy))

    print(sess.run(w1))
    print(sess.run(w2))

以上对整个神经网络进行迭代，其中每次选择batch_size=8个输入向量进行权值，一共迭代了5000次，最后输出稳定的结果。

以上就是最简单的神经网络的示例，可以通过代码表现出一个神经网络主要有三个步骤：

1.定义神经网络的结构和前向传播的输出结果
2.定义损失函数以及反向传播优化算法
3.生成会话 tf.Session,并在训练数据上反复运行直到方向传播算法使权值稳定的时候（损失函数最小）时收敛。