TensorFlow最简单的神经网络案例

TensorFlow 的运行方式分如下 4 步：
（1）加载数据及定义超参数；
（2）构建网络；
（3）训练模型；
（4）评估模型和进行预测

       下面我们以一个神经网络为例，讲解 TensorFlow 的运行方式。在这个例子中，我们构造一个满足一元二次函数 y = ax2+b 的原始数据，然后构建一个最简单的神经网络，仅包含一个输入层、一个隐藏层和一个输出层。通过 TensorFlow 将隐藏层和输出层的 weights 和 biases 的值学习出来，看看随着训练次数的增加，损失值是不是不断在减小。

(1) 生成或加载数据

  首先来生成输入数据。我们假设最后要学习的方程为 y = x2 - 0.5，我们来构造满足这个方程的一堆 x 和 y，同时加入一些不满足方程的噪声点。
 

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

# 构造满足一元二次方程的函数
x_data = np.linspace(-1, 1, 1000)[:, np.newaxis] # 为了使点更密一些，我们构建了 300 个点，分布在-1 到 1 区间，直接采用 np 生成等差数列的方法，并将结果为 300 个点的一维数组，转换为 300×1 的二维数组
noise = np.random.normal(0, 0.05, x_data.shape) # 加入一些噪声点，使它与 x_data 的维度相同
y_data = np.square(x_data) - 0.5 + noise # y = x^2 – 0.5 + 噪声

# 看一下分布如何
plt.plot(x_data, y_data, 'ro')
plt.show()

xs = tf.placeholder(tf.float32, [None, 1])
ys = tf.placeholder(tf.float32, [None, 1]) 

（2） 构建网络模型

    这里我们需要构建一个隐藏层和一个输出层。作为神经网络中的层，输入参数应该有 4 个变量：输入数据、输入数据的维度、输出数据的维度和激活函数。每一层经过向量化（ y =weights×x + biases）的处理，并且经过激活函数的非线性化处理后，最终得到输出数据。

def add_layer(inputs, in_size, out_size, activation_function=None):
    # 构建权重：in_size×out_size 大小的矩阵
    weights = tf.Variable(tf.random_normal([in_size, out_size]))
    # 构建偏置：1×out_size 的矩阵
    biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
    # 矩阵相乘
    Wx_plus_b = tf.matmul(inputs, weights) + biases
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return outputs # 得到输出数据

# 构建隐藏层，假设隐藏层有 10 个神经元
h1 = add_layer(xs, 1, 20, activation_function=tf.nn.relu)
# 构建输出层，假设输出层和输入层一样，有 1 个神经元
prediction = add_layer(h1, 20, 1, activation_function=None) 

接下来需要构建损失函数：计算输出层的预测值和真实值间的误差，对二者差的平方求和再取平均，得到损失函数。运用梯度下降法，以 0.1 的效率最小化损失：

# 计算预测值和真实值间的误差
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction),
reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) 

（3） 训练模型

    我们让 TensorFlow 训练 1000 次，每 50 次输出训练的损失值：

init = tf.global_variables_initializer() # 初始化所有变量
sess = tf.Session() 
sess.run(init)
for i in range(1000): # 训练 1000 次
    sess.run(train_step, feed_dict={xs: x_data, ys: y_data})
    if i % 50 == 0: # 每 50 次打印出一次损失值
        print(sess.run(loss, feed_dict={xs: x_data, ys: y_data}))

输出结果如下
 

0.26502466
0.009025399
0.0056669186
0.005002647
0.004724022
0.0045418483
0.0044258577
0.004342827
0.004286802
0.0042481637
0.0042098267
0.0041770763
0.0041497783
0.0041218232
0.0040973667
0.0040732753
0.0040495875
0.0040247925
0.003999825
0.003979218

        以上就是最简单的利用 TensorFlow 的神经网络训练一个模型的过程，目标就是要训练出权重值来使模型拟合 y = x2- 0.5 的系数 1 和-0.5，通过损失值越来越小，可以看出训练参数越来越逼近目标结果。按照标准的步骤，接下来应该评估模型，就是把学习出来的系数 weights、 biase 进行前向传播后和真值 y = x2- 0.5 的结果系数进行比较，根据相近程度计算准确率。这里省略了评估过程。

PS: 全部摘自李嘉璇的<<TensorFlow 技术解析与实战>>第八章