使用Tensorflow实现两层神经网络（使用激活函数）

1 神经网络结构

该神经网络由两层神经网络构成， x(1) - >hidden (10) -> y(1)
x(1)->hidden(10):
$Y = \sigma(XW+b)$ , $\sigma$为激活函数relu
输出层为没有激活函数的线性层。

2 TensorFlow 基本用法

先构造计算网络。（就是一个表达式树），然后它可以自动求导，就可以自动实现反向传播。
要构造计算网络，就需要几个要素，
一个是常量，使用tf.Constant可以定义常量。
一个是占位符，可以再后期将数据放入占位符。tf.placeholder
一个是变量，需要优化的参数定义为变量。 tf.Variable
然后就是加减乘除之类的运算，因为重载了操作符，所以可以直接使用基本的+-*/运算符。

有时候你看到
y = w*x+b 可能并不是在算数字，而是在构造计算图，构造完计算图后，
通过session.run()来真正的运行程序。

3 当前例子导出的计算图

4 代码

import  tensorflow as tf
import numpy as np

def linear_layer(inputs,in_size,out_size,act_fun=None):
    W = tf.Variable(tf.random_normal([in_size,out_size]), name="W") #需要优化的参数
    b = tf.Variable(tf.zeros([1,out_size]), name="b")
    Wx_plus_b = tf.matmul(inputs,W)+b # XW+B
    if act_fun is None: #激活函数
        outputs = Wx_plus_b
    else:
        outputs = act_fun(Wx_plus_b)
    return outputs

def buildData(): #构造测试数据
    x_data = np.linspace(-1,1,300)[:,np.newaxis]
    noise = np.random.normal(0,0.05,x_data.shape)
    y_data = np.square(x_data)-0.5+noise
    xx = tf.placeholder(tf.float32, [None,1])
    xx = tf.placeholder(tf.float32,[None,1])
    return (x_data,y_data)

(x_data,y_data) = buildData()
print(x_data.shape)
xs = tf.placeholder(tf.float32,[None,1])
ys = tf.placeholder(tf.float32,[None,1])

hidden = linear_layer(xs,1,10,act_fun=tf.nn.relu)
pred = linear_layer(hidden,10,1,act_fun=None)
loss = tf.reduce_sum(tf.square(ys-pred),reduction_indices=1)
loss = tf.reduce_mean(loss)
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

init = tf.global_variables_initializer()
sess = tf.Session()
writer = tf.summary.FileWriter('a.g',train_step.graph)
sess.run(init)
for i in range(1000):
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    if i %50:
        print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))


sess.close()





# sess = tf.Session()
# v = sess.run(product)
# print(v)

结果

W1= [[-0.66413361 -1.14249885 0.38274527 1.21712351 -0.85097831 -0.81474817
0.4163996 -1.21470976 -0.56609488 -1.09224093]]
b1= [[ 0.66910332 -0.05254484 -0.38292027 -0.04900726 -0.09555268 0.28330606

W2= [[-1.59029257]
[-0.56855464]
[-1.09264433]
[ 0.24136195]
[-0.60596371]
[ 1.46181786]
[-0.68650866]
[ 2.21226954]
[ 0.5364939 ]
[-0.73215228]]
b2= [[ 0.15958895]]