第三个tensorflow的小案例

实现了了一个简单的神经网络

cross_entropy判定输出向量和预期向量有多接近

运用反向传播更新参数

import tensorflow as tf 

#NumPy是一个科学计算的工具包，这里通过NumPy工具包生成模拟数据集
from numpy.random import RandomState

#定义训练数据batch的大小
batch_size = 8

w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))

#在shape的一个维度上使用None可以方便使用不大的batch大小，在训练时需要吧数据分
#成比较小的batch，但时在测试时，可以一次性使用全部的数据。当数据比较少时这样比较
#方便测试，但数据集比较大时，将大量数据放入一个batch可以回导致内存溢出
x = tf.placeholder(tf.float32,shape=(None,2),name='x-input')
y_ = tf.placeholder(tf.float32,shape=(None,1),name='y-input')

a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

#cross_entropy判定一个输出向量和期望的向量有多接近
#tf.clip_by_value函数可以将一个张量中的数值限制在一个范围内
#y_是真实值，y是预测值
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

#通过随机数生成一个模拟数据集
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size,2)
Y = [[int(x1+x2)<1] for (x1,x2) in X]

with tf.Session() as sess:
	init_op = tf.initialize_all_variables()
	sess.run(init_op)
	print(sess.run(w1))
	print(sess.run(w2))

#设定训练的轮数
STEPS = 5000
for i in range(STEPS):
	#每次选取batch_size个样本进行训练
	start = (i * batch_size) % dataset_size
	end = min(start + batch_size, dataset_size

	#通过选取的样本训练神经网络更新参数
	sess.run(train_step,feed_dict={x: X[start:end], y_: Y[start:end]})

	#每隔一段时间计算在所有数据上的交叉熵
	if i % 1000 == 0:
		total_cross_entroty = sess.run(cross_entropy,feed_dict={x: X,y_: Y})
		print("After %d training setp(s),cross cross entropy on all data is %g" %(i,total_cross_entroty))

print(sess.run(w1))
print(sess.run(w2))