神经层的建立与拟合

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

初始化神经层，输入X数据、行、列与激励函数
得到的相当于一个拟合程度陈差距的
激励函数是为了得到的曲线更加弯曲而不是由直线组成。
tf最好由32位浮点数组成
tf.zeros(row,culomn)为建立为0的矩阵

def add_layer(inputs,in_size,out_size,activation_function=None):
    #输入4个变量，数据，行数，列数，是否有激励函数
    Weights = tf.Variable(tf.random_normal([in_size,out_size]))
    #定义权值W,并且可以设置为32位的浮点数,dtype=tf.float64
    bases = tf.Variable(tf.zeros([1,out_size])+0.1)
    #建立1行N列的变量
    Wx_plus_b = tf.matmul(inputs,Weights)+bases
    #相乘得到一个随机的W的神经层
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return outputs

np.linspace(-1,1,300)为建立从-1到1的三百个大约等差的数字
np.random.normal为创建一个正太分布

x_data = np.linspace(-1,1,300)[:,np.newaxis]
#建300个(-1,1)的等差数据
#print(x_data)
noise = np.random.normal(0,0.05,x_data.shape) 
#第一个参数表示概率分布的均值，也就是中心centre,第二个为标准差,
#越小,那么高度越高,第三个为数量
#print(noise)
#存在噪点,方差为0.05,格式与xdata一样
y_data = np.square(x_data)-0.5+noise
#np.sqrt(x) 计算数组各元素的平方根 np.square(x) 计算数组各元素的平方 
xs = tf.placeholder(tf.float32,[None,1]) #不论多少个例子都OK，占位符
ys = tf.placeholder(tf.float32,[None,1])
#第一个参数定义类型是必须的，这个是用作创建再session中传入值的函数，创建一个未知大小的矩阵

l1 = add_layer(xs,1,10,activation_function=tf.nn.relu)
#tf给的激励方程,通常用这个,激活操作提供了在神经网络中使用的不同类型的非线性模型
#不使用激励函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。
#因为线性模型的表达能力不够，激励函数可以引入非线性因素
prediction = add_layer(l1,10,1,activation_function=None)

#prediction与y_data的差值,损失函数
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),
                                    reduction_indices=[1]))
#tf.reduce_sum是按纬度求和的办法，reduction_indices=[1]表示按行求和
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
#tf中有不少为损失函数计算梯度的方法
#以0.1的效率去减少误差,用梯度下降法最小化loss

init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
fig = plt.figure()
#生成一个图片框
ax = fig.add_subplot(1,1,1)
#建立一个子图，三个参数分别为，子图总行数，子图总列数，子图位置
ax.scatter(x_data,y_data)
#绘制散点图
plt.ion()
#让程序不暂停
#plt.show()
#只能输出一次，把整个程序暂停
for i in range(10000): #最小化损失函数
    #training
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    if i % 50 ==0:
        try:
            ax.lines.remove(lines[0])
        except Exception:
            pass
        prediction_value = sess.run(prediction,feed_dict={xs:x_data})
        lines = ax.plot(x_data,prediction_value,'r-',lw=5)

        plt.pause(0.1)
        #plt.show()
        #print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))