二分类神经网络

1 二分类神经网络结构

图1.1 神经网络结构

图1.2 输入层-隐藏层

图1.3 隐藏层-输出层

图1.4 输出-激活

2 源码及解析

import tensorflow as tf
from numpy.random import RandomState 

#每批训练数据的量(多少)
batch_size = 8
#权重
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
#输入
x = tf.placeholder(tf.float32, shape=(None,2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None,1), name='y-input')
#前向传播
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)
#反向传播--激活函数
y = tf.sigmoid(y)
#反向传播--损失函数
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-10,1.0))
    +(1-y)*tf.log(tf.clip_by_value(1-y,1e-10,1.0)))
#优化
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
#实验--模拟数据128x2维
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]
#创建会话
with tf.Session() as sess:
    #初始化变量
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    #设定训练次数
    STEPS = 9000
    for i in range(STEPS):
        #批量训练：batch_size
        start = (i * batch_size)%dataset_size
        end = min(start+batch_size, dataset_size)
        #更新参数
        sess.run(train_step,
            feed_dict={x: X[start:end], y_: Y[start:end]})
        #定期输出
        if i % 1000 ==0:
            #计算交叉熵
            total_cross_entropy = sess.run(
                cross_entropy, feed_dict={x:X, y_:Y})
            print("After %d  training step(s), cross_entropy on all data is %g" 
                %(i, total_cross_entropy))
    print("Final w1=", sess.run(w1))
    print("Final w2=", sess.run(w2))

3 结果及分析

图3.1 运行结果

通过8000轮的训练，交叉熵的值逐渐减小，表明预测值和实际值误差逐渐减小，预测更加准确。初始权重Init w1和Init w2在神经网络的训练过程中，发生变化，最终输出训练结果，最终权重Final w1和Final w2。

4 总结

神经网络训练过程

• 1.定义神经网络结构及前向传播结果；
• 2.定义损失函数及选择反向传播优化算法；
• 3.定义会话，训练。

---

[拓展阅读]
[1]神经网络之Tensorflow函数解析