3-1非线性回归（TensorFlow例程）

非线性回归的TensorFlow例程

本例程编程思想：

1. 产生随机数x_data，构造y = x^2+噪声的分布，相当于已知输入x_data和输出y_data。
2. 利用输入x_data和输出y_data，利用梯度下降法，使样本值和预测值之间的损失函数（loss）最小，训练出相应的模型
3. 得到训练后的模型，然后再根据输入值x_data，得到预测后的输出值
4. 进行绘图

本程序使用的激活函数为y = tanh(x)

# 非线性回归的例程
import tensorflow as tf
import numpy as np
import matplotlib.pylab as plt

# 使用numpy生成200个随机点
# linspace生成在-0.5到0.5均匀分布的200个点
# [:,np.newaxis]是把一维数据变换成二维数据
x_data = np.linspace(-0.5, 0.5, 200)[:, np.newaxis]

# 生成噪声干扰点noise
noise = np.random.normal(0, 0.02, x_data.shape)
y_data = np.square(x_data) + noise  # 模拟y =x**2

# 定义两个placeholder
# placeholder维数大小根据输入数据大小确定
x = tf.placeholder(tf.float32, [None, 1])
y = tf.placeholder(tf.float32, [None, 1])

# 输入层1个神经元
# 定义神经网络中间层
# 中间层使用10个神经元
# 输出层1个神经元
Weight_L1 = tf.Variable(tf.random_normal([1, 10]))
biases_L1 = tf.Variable(tf.zeros([1, 10]))
Wx_plus_b_L1 = tf.matmul(x, Weight_L1) + biases_L1

# 激活函数tanh
L1 = tf.nn.tanh(Wx_plus_b_L1)

# 定义神经网络输出层
Weight_L2 = tf.Variable(tf.random_normal([10, 1]))
biases_L2 = tf.Variable(tf.zeros([1, 1]))
Wx_plus_b_L2 = tf.matmul(L1, Weight_L2) + biases_L2

prediction = tf.nn.tanh(Wx_plus_b_L2)

# 二次代价函数
loss = tf.reduce_mean(tf.square(y - prediction))

# 使用梯度下降法训练
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)


with tf.Session() as sess:
    init = tf.initialize_all_variables()
    sess.run(init)
    for step in range(2000):
        sess.run(train_step, feed_dict={x: x_data, y: y_data}) # 传入样本值

    # 获得预测值
    prediction_value = sess.run(prediction, feed_dict={x: x_data})

    # 画图
    plt.figure()
    plt.scatter(x_data, y_data)
    plt.plot(x_data, prediction_value, 'r-', lw=5)
    plt.show()

运行结果：
如图1所示：

蓝色点表示已知数据点
红色线表示预测值