一个简单线性回归网络在训练时误差越来越大

最新推荐文章于 2022-09-19 15:47:57 发布

嵌入式常工匠

最新推荐文章于 2022-09-19 15:47:57 发布

阅读量2.7k

点赞数

分类专栏： paddlepaddle # 数据准备文章标签： paddle fluid 线性回归输入数据学习率

本文链接：https://blog.csdn.net/aLife2P6/article/details/103918467

版权

本文探讨了在PaddlePaddle中，一个简单的线性回归模型在训练过程中，随着训练数据量从10组增加到20组，误差反而增大的问题。作者通过更改数据输入方式、调整学习率以及改变训练数据范围，发现学习率过高可能导致模型退步，而适当降低学习率可避免此现象。此外，训练数据量的增加能改善模型性能，但需注意训练数据与测试数据的范围匹配，以及防止过拟合。

摘要由CSDN通过智能技术生成

1 发现问题

PaddlePaddle官网上有一个简单的线性回归模型的例子，粘贴如下内容到新建的test.py中：

#加载库
import paddle.fluid as fluid
import numpy as np
#生成数据
np.random.seed(0)
outputs = np.random.randint(5, size=(10, 4))
res = []
for i in range(10):
        # 假设方程式为 y=4a+6b+7c+2d
        y = 4*outputs[i][0]+6*outputs[i][1]+7*outputs[i][2]+2*outputs[i][3]
        res.append([y])
# 定义数据
train_data=np.array(outputs).astype('float32')
y_true = np.array(res).astype('float32')

#定义网络
x = fluid.layers.data(name="x",shape=[4],dtype='float32')
y = fluid.layers.data(name="y",shape=[1],dtype='float32')
y_predict = fluid.layers.fc(input=x,size=1,act=None)
#定义损失函数
cost = fluid.layers.square_error_cost(input=y_predict,label=y)
avg_cost = fluid.layers.mean(cost)
#定义优化方法
sgd_optimizer = fluid.optimizer.SGD(learning_rate=0.05)
sgd_optimizer.minimize(avg_cost)
#参数初始化
cpu = fluid.CPUPlace()
exe = fluid.Executor(cpu)
exe.run(fluid.default_startup_program())
##开始训练，迭代500次
for i in range(500):
        outs = exe.run(
                feed={'x':train_data,'y':y_true},
                fetch_list=[y_predict.name,avg_cost.name])
        if i%50==0:
                print ('iter={:.0f},cost={}'.format(i,outs[1][0]))
#存储训练结果
params_dirname = "result"
fluid.io.save_inference_model(params_dirname, ['x'], [y_predict], exe)

# 开始预测
infer_exe = fluid.Executor(cpu)
inference_scope = fluid.Scope()
# 加载训练好的模型
with fluid.scope_guard(inference_scope):
        [inference_program, feed_target_names,
         fetch_targets] = fluid.io.load_inference_model(params_dirname, infer_exe)

# 生成测试数据
test = np.array([[[9],[5],[2],[10]]]).astype('float32')
# 进行预测
results = infer_exe.run(inference_program,
                                                feed={"x": test},
                                                fetch_list=fetch_targets)
# 给出题目为 【9,5,2,10】 输出y=4*9+6*5+7*2+10*2的值
print ("9a+5b+2c+10d={}".format(results[0][0]