【深度学习】TensorFlow：训练神经网络解决二分类问题

今天学习了在模拟数据集上训练神经网络，下面是代码和我对代码的理解：

import tensorflow as tf
#由于版本的问题，屏蔽警告
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

#通过科学计算工具包生成模拟数据集
from numpy.random import RandomState

#定义训练数据的大小
batch_size = 8

#定义神经网络的参数，也就是两个节点之间的运算参数
#定义了随机矩阵，该矩阵的标准差stddev为1，seed=1起到固定初始值的作用
w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))

#定义placeholder占位符节点，属于一种形参，需要用户传递参数
#在第一个维度上使用None，方便训练时把数据分得细小，测试时数据可以很大，有伸缩性
x = tf.placeholder(tf.float32,shape=(None,2),name='x-input')
y_ = tf.placeholder(tf.float32,shape=(None,1),name='y-input')

#定义神经网络前向传播的过程
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

#定义损失函数和反向传播算法
#使用sigmoid函数将y转换成0~1之间的数值，转换后y代表预测时正样本的概率，1-y代表的时预测是负样本的概率
y=tf.sigmoid(y)
#定义损失函数来刻画预测值与真实值的差距
#clip_by_value函数将y 限定在一个范围之内
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-10,1.0))+(1-y)*tf.log(tf.clip_by_value(1-y,1e-10,1.0)))

#定义反向传播算法优化神经网络中的参数
#采用AdamOptimizer优化算法，以学习率learning_rate去优化损失函数cross_entropy
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)


#通过随机数生成一个模拟数据集  rdm
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size,2)
#遍历X中所有的（x1,x2） 如果x1+x2<1 ，[int(x1+x2 < 1)]则放入y中
Y = [[int(x1+x2 < 1)] for (x1,x2) in X]

#创建一个会话来运行tensorflow程序
with tf.Session() as sess:
    #初始化所有变量 w1 w2
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    print (sess.run(w1))
    print (sess.run(w2))

    #定义训练的论数
    STEPS = 5000
    #循环5000次
    for i in range(5000):
        #每次选取8个样本进行训练
        start = (i*batch_size) % dataset_size
        end = min(start+batch_size,dataset_size)

        #通过选取的样本训练神经网络并更新参数
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i % 1000 == 0:
        #每隔一段时间，计算在所有数据上的交叉并输出
        total_cross_entropy = sess.run(cross_entropy,feed_dict={x:X,y_:Y})
        print("After %d training step(s),cross entropy on all data is %g" %(i,total_cross_entropy))
    print(sess.run(w1))
    print(sess.run(w2))

前半部分的代码都已经理解了，后面的反复训练的内容因为函数和概念的问题都存在问题，在之后的学习中学习吧~