用 Tensorflow 构建一个神经网络

本次构建的神经网络：

神经网络结构说明：

（1）输入层：300个含有一个特征的样本。

（2）隐藏层：含有一个隐藏层，隐藏层中有10个神经元节点。神经元节点的激活函数是：ReLU。

（3）输出层：一个神经元节点，没有激活函数

实现代码：

import tensorflow as tf
import numpy as np

"""
inputs：输入值
in_size：输入的大小
out_size：输出的大小
activation_function：激活函数
"""
# 构造一个添加神经元的函数
def add_layer(inputs,in_size,out_size,activation_function=None):
    # 因为生成初始参数时，随机变量会比全部为0好很多
    # 所以定义weights 为一个 in_size 行，out_size 列的随机变量矩阵
    Weights = tf.Variable(tf.random_normal([in_size,out_size]))
    # 机器学习中，biases 不推荐为 0，所以 在 0向量基础上又加0.1
    biases = tf.Variable(tf.zeros([1,out_size])) + 0.1
    # 定义 Wx_plus_b ,即神经网络未激活的值
    Wx_plus_b = tf.matmul(inputs,Weights) + biases
    #当 activation_function- 激励函数为 None时，输出就是当前的预测值-Wx_plus_b
    # 不为 None 时，就把 Wx_plus_b 传到 activation_function 函数中得到输出
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return outputs

############################# 导入数据 #############################
# 构建所需的数据，由于 x_data 与 y_data 并不是严格的一元二次函数的关系
# 所以这里加一个 noise 看起来更像真实情况
x_data = np.linspace(-1,1,300,dtype=np.float32)[:,np.newaxis]
# 生成高斯分布的概率密度随机数
# 0 表示概率分布的均值，0.05 表示概率分布的标准差，x_data.shape 表示输出的shape
noise = np.random.normal(0,0.05,x_data.shape)
y_data = np.square(x_data) - 0.5 + noise

# 利用占位符定义我们需要的神经网络的输入
# None 代表无论输入多少样本都可以，因为只有一个样本，所以这里是1
xs = tf.placeholder(tf.float32,[None,1])
ys = tf.placeholder(tf.float32,[None,1])
######################### 导入数据 #############################

######################## 搭建神经网络 ##########################
# 输入层只有一个属性，所以我们就只有一个输入
# 设置隐藏层有10个神经元
# 输出层只有一层
l1 = add_layer(xs,1,10,activation_function=tf.nn.relu)
prediction = add_layer(l1,10,1,activation_function=None)

# 定义损失函数
# 计算预测值 prediction 和真实值的误差，对两者差的平方求和再取平均值
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1]))
# 这一步是很关键的一步，让机器学习提升它的准确率
# tf.train.GradientDescentOptimizer()中的值通常都小于1，这里取0.1，代表以0.1的效率来最小化误差loss
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

# 只要使用变量就要对其进行初始化
init = tf.global_variables_initializer()
#定义 Session，并用Session来执行 init 初始化步骤
sess = tf.Session()
sess.run(init)
######################## 搭建神经网络 ##########################

########################## 训练网络 ############################
# 这里用 机器学习1000次，机器学习的内容是 train_step
# 用 session 来 run 每一次 training 的数据，逐步提升神经网络的预测准确性
# 用到 placeholder 时，需要使用 feed_dict 这个字典指定输入
for i in range(1000):
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    # 每 50 步输出一下机器学习的误差
    if i%50 ==0:
        print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))
########################## 训练网络 ############################