tensorflow实例(7)--建立多层神经网络

本文将建立多层神经网络的函数，这个函数是一个简单的通用函数，
通过最后的测试，可以建立一些多次方程的模型，并通过matplotlib.pyplot演示模型建立过程中的数据变化情况

以下三张图片是生成的效果，每张图的蓝点都表示为样本值，红点表示最终预测效果，本例带有点动画效果，可以更直观的觉数值的变化

如果你对神经网络不太了解可以参考我前面的一些文章，这里列出一些主要的参考
机器学习(1)--神经网络初探
tensorflow实例(2)--机器学习初试
tensorflow实例(6)--机器学习中学习率的实验

机器学习(7)--梯度下降法（GradientDescent）的简单实现

#-*- coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
def createData(ref):
    '''生成数据函数,ref 参数说明 
    本函数将生成一组的x,y数据，ref传参为数组,[a1,a2,a3,b]
    x将为一组300个的由-1至1的等分数列组成的数组
    y根据ref传参，如上[a1,a2,a3,b]，，y = a1*x3次方  + a2*x2次方  + a3*x  + b +燥点 
    '''
    x = x_data=np.linspace(-1,1,300).reshape(300,1)
    y = np.zeros(300).astype(np.float64).reshape(300,-1)
    yStr = ""
    for i in range(len(ref)):
        y = y + x ** (len(ref) - i - 1) * ref[i]
        yStr+= (" = " if yStr == "" else " + ") + str(ref[i]) + " * (" + str(x[3]) + ") ** " + str(len(ref) - i - 1) 
    noise = max(y) * (np.random.uniform(-0.05,0.05,300)).reshape(300,-1)
    y = y + noise
    yStr = str(y[3]) + yStr + " + " + str(noise[3][0]) + "(noise)"
    print(yStr)
    return x,y

def addLayer(inputData,input_size,output_size,activation_function=None):
    weight = tf.Variable(tf.random_uniform([input_size,output_size],-1,1))#初始化随机，比全是零要好
    b = tf.Variable(tf.random_uniform([output_size],-1,1))#这是来自tensorflow的建议，biases不为零比较较好
    mat = tf.matmul(inputData,weight)+b #matul求矩阵乘法并加上biases
    if activation_function != None : mat = activation_function(mat)
    return mat


def draw(x_data,y_data,trainTimes,learningRate):
    '''
    trainTimes：训练次数，当次x_data,y_data不同时，trainTimes与learningRate都必须适当调整
    关于learningRate这里不在详细说明，可以参考我别的文章
    '''
    x = tf.placeholder(tf.float32,[None,1])
    y = tf.placeholder(tf.float32,[None,1])
    #在原始数据x_data与最后预测值之间加上一个20个神经元的神经网络层
    #典型的三层网络，N个神级元，x_data,y_data 只有一个属性，算是一个神经元，所以输入是一个神经元，而隐藏层有N个神经元
    layer1 = addLayer(x,1,20,activation_function=tf.nn.relu) 
    prediction = addLayer(layer1,20,1)

    loss = tf.reduce_mean(tf.reduce_sum(tf.square(y - prediction),axis=1))
    train=tf.train.GradientDescentOptimizer(learningRate).minimize(loss)

    sess=tf.Session()
    sess.run(tf.initialize_all_variables())

    trainStepPrint=int(trainTimes/10)
    feed_dict={x:x_data,y:y_data}

    predictionStep=[] #用于保存训练过程中的预测结果
    for i in range(trainTimes):
        sess.run(train,feed_dict=feed_dict)
        if i%trainStepPrint==0 or i<10:#分20次将计算的步骤值进行保存，i<10 指最开始的10次，基本前面几次的WEIGHT变化比较大，效果明显
            lossVal=sess.run(loss,feed_dict=feed_dict)
            print("步骤：%d, loss:%f"%(i,lossVal))
            predictionStep.append(sess.run(prediction,{x:x_data}))#预测时并不需要传参y_data
    lossVal=sess.run(loss,feed_dict=feed_dict)
    print("最后loss:%f"%(lossVal))
    predictionStep.append(sess.run(prediction,{x:x_data}))#传入最后结果
    sess.close()

    plt.scatter(x_data,y_data,c='b') #蓝点表示实际点
    plt.ion()
    plt.show()

    predictionPlt=None
    for i in predictionStep:
        if predictionPlt!=None:predictionPlt.remove();
        predictionPlt=plt.scatter(x_data,i,c='r') #红点表示预测点
        plt.pause(0.3)


x_data,y_data = createData([2,0,1])#  2 * x平方  +1  完全的抛物线
draw(x_data,y_data,10000,0.1)

#x_data,y_data = createData([2,2,2])#  2 * x平方 + 2*x + 2  抛物线的一部份，可自行取消注释后运行
#draw(x_data,y_data,10000,0.1)

#x_data,y_data = createData([1,0,2,0]) #3次方的试验，x3次方+ 2*x  可自行取消注释后运行
#draw(x_data,y_data,10000,0.01)