keras非线性回归实现

keras非线性回归实现

这次非线性回归实现，相比较于线性回归，多添加了隐藏层层数，并且需要使用不同类型的激活函数来进行适应非线性，分别使用了tanh和relu来显示结果

#非线性回归

import keras
import numpy as np 
import matplotlib.pyplot as plt 
#按顺序构成的模型
from keras.models import Sequential
from keras.layers import Dense,Activation
from keras.optimizers import SGD


#生成数据,使用numpy生成200个随机点
x_data = np.linspace(-0.5,0.5,200)
noise = np.random.normal(0,0.02,x_data.shape)
y_data = np.square(x_data) + noise



#构建一个顺序模型
model = Sequential()
#在模型中添加一个全连接层
#在非线性回归中使用添加隐藏层的方法来达到非线性的目的
#1-10-1的神经网络,并且在添加的隐藏层时需要修改激活函数，因为默认是如果没有设定激活函数，那么就默认为线性的，即linear
model.add(Dense(units = 10 ,input_dim = 1, activation='relu'))
#如果不加激活函数，那么输出为一条直线，加入后为曲线
#model.add(Activation('tanh'))
#后面添加层不需要设定输入维度
model.add(Dense(units = 1, activation='relu'))
#model.add(Activation('tanh'))
#定义优化算法
sgd = SGD(lr = 0.3)
#sgd(Stochastic gradient) 随机分布下降法(默认优化算法，学习率很小，需要迭代次数较多)   
#mse(Mean Squared Error)：均方误差
model.compile(optimizer = sgd, loss = 'mse')


#训练3001个批次
for step in range(5001):
    #每次训练一个批次
    cost = model.train_on_batch(x_data, y_data)
    #每500个batch打印一次cost值
    if step % 500 ==0:
        print('cost:',cost)



#把x_data输入网络中，得到预测值

y_pred = model.predict(x_data)

#显示随机点
plt.scatter(x_data,y_data)
#显示预测结果
plt.plot(x_data, y_pred,'r-',lw = 3)
plt.show()

结果

tanh结果：

relu结果：可以看到，结果比较怪异，但这只是使用激活函数的一种尝试