简单神经网络解决回归问题

简单神经网络解决回归问题

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

#使用numpy生成200个随机点
x_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]
noise = np.random.normal(0,0.2,x_data.shape)
y_data = np.square(x_data) + noise

#定义两个placeholder
x = tf.placeholder(tf.float32,[None,1])
y = tf.placeholder(tf.float32,[None,1])

#定义神经网络中间层
Weights_L1 = tf.Variable(tf.random_normal([1,10]))
biases_L1 = tf.Variable(tf.zeros([1,10]))
Wx_plus_b_L1 = tf.matmul(x,Weights_L1) + biases_L1
L1 = tf.nn.tanh(Wx_plus_b_L1)

#定义神经网络输出层
Weights_L2 = tf.Variable(tf.random_normal([10,1]))
biases_L2 = tf.Variable(tf.zeros([1,1]))
Wx_plus_b_L2 = tf.matmul(L1,Weights_L2) + biases_L2
prediction = tf.nn.tanh(Wx_plus_b_L2)

#二次代价函数
loss = tf.reduce_mean(tf.square(y-prediction))
#使用梯度下降法训练
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

with tf.Session() as sess:
    #变量初始化
    sess.run(tf.global_variables_initializer())
    for _ in range(2000):
        sess.run(train_step,feed_dict={x:x_data,y:y_data})
        
    #获得预测值
    prediction_value = sess.run(prediction,feed_dict={x:x_data})
    #画图
    plt.figure()
    plt.scatter(x_data,y_data)
    plt.plot(x_data,prediction_value,'r-',lw=5)
    plt.show()

x_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]：
np.linspace(-0.5,0.5,200)是在-0.5到0.5（包含这两个值）之间生成200个一维随机数字。
[:,np.newaxis]相当于多加了一个维度，x_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]是200行1列的二维数组，而x_data = np.linspace(-0.5,0.5,200)[np.newaxis,:]相当于在原来的一维数组外面多加了一对中括号，即[[-0.4,-0.45,…,0.43,0.47]]

numpy.random.normal(loc=0.0, scale=1.0, size=None)：正态分布，normal是正态的意思。
loc：float
此概率分布的均值（对应着整个分布的中心centre），loc=0说明这一个以Y轴为对称轴的正态分布
scale：float
此概率分布的标准差（对应于分布的宽度，scale越大越矮胖，scale越小，越瘦高）
size：int or tuple of ints
输出的值赋在shape里，默认为None，只输出一个值

x_data.shape：求x_data的张量，即（200，1）

np.square(a): 计算各元素的平方

tf.placeholder(
          	dtype,    
          	shape=None,    
          	name=None
          )

dtype：数据类型。常用的是tf.float32,tf.float64等数值类型
shape：数据形状。默认是None，就是一维值，也可以是多维（比如[2,3], [None, 3]表示列是3，行不定）
name：名称

所以placeholder()函数是在神经网络构建graph的时候在模型中的占位，此时并没有把要输入的数据传入模型，它只会分配必要的内存。等建立session，在会话中，运行模型的时候通过feed_dict()函数向占位符喂入数据。

tf.random_normal()函数用于从服从指定正太分布的数值中取出指定个数的值。

tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)

shape: 输出张量的形状，必选
mean: 正态分布的均值，默认为0
stddev: 正态分布的标准差，默认为1.0
dtype: 输出的类型，默认为tf.float32
seed: 随机数种子，是一个整数，当设置之后，每次生成的随机数都一样
name: 操作的名称

tf.nn.tanh()是双曲正切函数
tf.square(a)对a求平方
tf.reduce_mean(tf.square(a))求平均值

plt.scatter(x_data,y_data)画出散点图
plt.plot(x_data,prediction_value,'r-',lw=5)用红色的线表示，假设线宽为5