创建简单神经网络

import tensorflow as tf
import  numpy as np
#添加神经层
def add_layer(inputs,in_size,out_size,activation_function=None):
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#用random比用0好
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)   #biases推荐的值不为0
    Wx_plus_b=tf.matmul(inputs,Weights)+biases
    if activation_function is None:
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    return  outputs

#创建数据
x_data=np.linspace(-1,1,300)[:,np.newaxis]
#x_data范围是(-1,1),[:,newaxis]使增加维度，变成300行，如果使[nexaxis,:]是300列
noise=np.random.normal(0,0.05,x_data.shape)
#添加噪声，方差是0.05,格式和x_data一样
y_data=np.square(x_data)-0.5+noise

xs=tf.placeholder(tf.float32,[None,1])#None是无论给多少sample都OK
ys=tf.placeholder(tf.float32,[None,1])

#输入层一个神经元，假设隐藏层有10个神经元，输出层有一个神经元
l1=add_layer(xs,1,10,activation_function=tf.nn.relu)
prediction=add_layer(l1,10,1,activation_function=None)

#计算loss fuction
loss=tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1]))
#平方和相加再平均，reduction_indices=[1]时，第一维对应位置相加
train_step=tf.train.GradientDescentOptimizer(0.1).minimize(loss)#通常learning rate 小于1

init=tf.initialize_all_variables()#初始所有变量
sess=tf.Session()
sess.run(init)#上面所有步骤都没有激活直到这里

for i in range(1000):#学习1000步
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    #用xs占位，因为gradientdescent可能用到部分x_data
    if i % 50==0:#每隔50次输出loss
        print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))