TensorFlow--(三)完整的全连接神经网络示例

from numpy.random import RandomState
print(RandomState(1))

<mtrand.RandomState object at 0x7f5bb4443f50>

import tensorflow as tf
from numpy.random import RandomState    #调用Numpy工具包生成模拟数据集

batch_size = 8    #定义训练数据batch的大小

w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

#在shape的一个维度上使用None可以方便使用不同batch大小
#在训练时需要把数据分成比较小的batch,但是在测试时,可以一次性使用全部数据
#当数据集比较小时这样比较方便测试,但当数据集比较大时,将大量数据放入一个batch可能会导致溢出
x = tf.placeholder(tf.float32, shape=(None, 2), name="x-input")
y_= tf.placeholder(tf.float32, shape=(None, 1), name='y-input')

#定义神经网络前向传播的过程
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)


#定义损失函数和反向传播的算法
y = tf.sigmoid(y)   #使用sigmoid()函数将y转换为0~1之间的数值.转换后y代表预测是正样本的概率, 1-y 代表预测是负样本的概率

#定义损失函数来刻画预测值与真实值的差距,cross_entropy定义了真实值和预测值之间的交叉熵(cross entropy),这是分类问题中一个常用的损失函数
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)) + (1 - y_) * tf.log(tf.clip_by_value(1 - y, 1e-10, 1.0)))
#定义学习率
learning_rate = 0.001
#定义反向传播的优化方法,来优化神经网络中的参数
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)

#通过随机数生成一个模拟数据集
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size,2)
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]
#定义规则来给出样本的标签.
#在这里所有x1+x2<1 的样例都被认为是正样本(比如零件合格),而其他为负样本(比如零件不合格)
#和Tensorflow游乐场中的表示法不太一样的地方是,在这里使用0来表示负样本,1来表示正样本
#大部分解决分类问题的神经网络都会采用0和1的表示方法

with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    
    # 输出目前（未经训练）的参数取值。
    print("输出目前(未经训练)的参数取值")
    print(sess.run(w1))
    print(sess.run(w2))
    print("\n")
# 训练模型。
    #设置训练的轮数
    STEPS = 5000
    for i in range(STEPS):
        #每次选取batch_size 个样本进行训练
        start = (i*batch_size) % dataset_size        # batch_size = 8, dataset_size = 128 
        end = min(start+batch_size,dataset_size)     # 可以理解为(i*batch_size) % 128 + batch_size
        
        #通过选取的样本训练神经网络并更新参数
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})
        #sess.run([train_step, y, y_], feed_dict={x: X[start:end], y_: Y[start:end]})
        if i % 1000 == 0:
            #每隔一段时间计算在所有数据上的交叉熵并输出
            total_cross_entropy = sess.run(cross_entropy, feed_dict={x: X, y_: Y})
            print("After %d training step(s), cross entropy on all data is %g" % (i, total_cross_entropy))
    
    # 输出训练后的参数取值。
    print("\n")
    print("输出训练后的参数取值")
    print(sess.run(w1))
    print(sess.run(w2))

#写入日志,待TensorBoard可视化查看
writer = tf.summary.FileWriter("/home/mikowoo/Desktop/log/networks/",tf.get_default_graph())
writer.close()

输出目前(未经训练)的参数取值
[[-0.8113182   1.4845988   0.06532937]
 [-2.4427042   0.0992484   0.5912243 ]]
[[-0.8113182 ]
 [ 1.4845988 ]
 [ 0.06532937]]


After 0 training step(s), cross entropy on all data is 1.89805
After 1000 training step(s), cross entropy on all data is 0.655075
After 2000 training step(s), cross entropy on all data is 0.626172
After 3000 training step(s), cross entropy on all data is 0.615096
After 4000 training step(s), cross entropy on all data is 0.610309


输出训练后的参数取值
[[ 0.02476984  0.5694868   1.6921942 ]
 [-2.1977348  -0.23668921  1.1143897 ]]
[[-0.45544702]
 [ 0.4911093 ]
 [-0.9811033 ]]

STEPS = 5000
for i in range(STEPS):
    start = (i*batch_size) % dataset_size
    end = min(start+batch_size,dataset_size)     #(i*batch_size) % 128 + batch_size
    print(str(start) +'\t'+ str(end) + '\n')

0	8

8	16

16	24

24	32

32	40

40	48

48	56

56	64

64	72

72	80

80	88

88	96

96	104

104	112

112	120

120	128

0	8

8	16

16	24

24	32

32	40

40	48

48	56

56	64

64	72

72	80

80	88

88	96

96	104

104	112

112	120

120	128

0	8

8	16
...
...