python学习-神经网络梯度下降

最新推荐文章于 2024-04-24 13:35:29 发布
最新推荐文章于 2024-04-24 13:35:29 发布
阅读量141 收藏
点赞数
文章标签： python 学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qhqlnannan/article/details/130802621
版权

在这里插入图片描述

weight = 0.5
goal_pred = 0.8
input = 0.5

for iteration in range(20):
    pred = input * weight
    error = (pred - goal_pred) ** 2
    C_error = pred - goal_pred
    direction_and_amount = (pred - goal_pred) * input
    weight = weight - direction_and_amount
    print("%%%%%%#####*****"*10)

    print("当前循环次数是：", iteration)
    print("预测值 pred 是：", pred)
    print("均方误差  error 是：", error )
    print("纯误差 C_error 是：",  C_error)
    #纯误差是(pred-goal pred)，也就是预测值和真实值的差值。它表示当前错误的原始方向和幅度。如果它是一个正数，那么你的预测就太高了，反之亦然。如果它是一个很大的数字，那么你就错了很多，以此类推。

    print("缩放、负值反转和停止direction_and_amount是：", direction_and_amount)
    #这三个属性的共同作用是将纯误差转换为我们需要的权重调节的绝对幅度它们通过处理三种主要的边界情况来做到这一点，在这些边界情况下，纯误差不足以对权重进行良好的修正。
    print("修改权重后的 weight是：", weight)


    print("Error:" + str(error) + " Prediction:" + str(pred))weight = 0.5

输出结果为

C:\Users\admin\AppData\Local\Programs\Python\Python39\python.exe "D:\python test\BPtest.py" 
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 0
预测值 pred 是： 0.25
均方误差  error 是： 0.30250000000000005
纯误差 C_error 是： -0.55
缩放、负值反转和停止direction_and_amount是： -0.275
修改权重后的 weight是： 0.775
Error:0.30250000000000005 Prediction:0.25
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 1
预测值 pred 是： 0.3875
均方误差  error 是： 0.17015625000000004
纯误差 C_error 是： -0.41250000000000003
缩放、负值反转和停止direction_and_amount是： -0.20625000000000002
修改权重后的 weight是： 0.9812500000000001
Error:0.17015625000000004 Prediction:0.3875
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 2
预测值 pred 是： 0.49062500000000003
均方误差  error 是： 0.095712890625
纯误差 C_error 是： -0.309375
缩放、负值反转和停止direction_and_amount是： -0.1546875
修改权重后的 weight是： 1.1359375
Error:0.095712890625 Prediction:0.49062500000000003
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 3
预测值 pred 是： 0.56796875
均方误差  error 是： 0.05383850097656251
纯误差 C_error 是： -0.23203125000000002
缩放、负值反转和停止direction_and_amount是： -0.11601562500000001
修改权重后的 weight是： 1.251953125
Error:0.05383850097656251 Prediction:0.56796875
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 4
预测值 pred 是： 0.6259765625
均方误差  error 是： 0.03028415679931642
纯误差 C_error 是： -0.17402343750000004
缩放、负值反转和停止direction_and_amount是： -0.08701171875000002
修改权重后的 weight是： 1.33896484375
Error:0.03028415679931642 Prediction:0.6259765625
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 5
预测值 pred 是： 0.669482421875
均方误差  error 是： 0.0170348381996155
纯误差 C_error 是： -0.1305175781250001
缩放、负值反转和停止direction_and_amount是： -0.06525878906250004
修改权重后的 weight是： 1.4042236328125
Error:0.0170348381996155 Prediction:0.669482421875
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 6
预测值 pred 是： 0.70211181640625
均方误差  error 是： 0.00958209648728372
纯误差 C_error 是： -0.09788818359375007
缩放、负值反转和停止direction_and_amount是： -0.04894409179687503
修改权重后的 weight是： 1.453167724609375
Error:0.00958209648728372 Prediction:0.70211181640625
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 7
预测值 pred 是： 0.7265838623046875
均方误差  error 是： 0.005389929274097089
纯误差 C_error 是： -0.07341613769531252
缩放、负值反转和停止direction_and_amount是： -0.03670806884765626
修改权重后的 weight是： 1.4898757934570312
Error:0.005389929274097089 Prediction:0.7265838623046875
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 8
预测值 pred 是： 0.7449378967285156
均方误差  error 是： 0.0030318352166796153
纯误差 C_error 是： -0.05506210327148442
缩放、负值反转和停止direction_and_amount是： -0.02753105163574221
修改权重后的 weight是： 1.5174068450927733
Error:0.0030318352166796153 Prediction:0.7449378967285156
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 9
预测值 pred 是： 0.7587034225463867
均方误差  error 是： 0.0017054073093822882
纯误差 C_error 是： -0.04129657745361337
缩放、负值反转和停止direction_and_amount是： -0.020648288726806685
修改权重后的 weight是： 1.53805513381958
Error:0.0017054073093822882 Prediction:0.7587034225463867
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 10
预测值 pred 是： 0.76902756690979
均方误差  error 是： 0.0009592916115275371
纯误差 C_error 是： -0.030972433090210028
缩放、负值反转和停止direction_and_amount是： -0.015486216545105014
修改权重后的 weight是： 1.553541350364685
Error:0.0009592916115275371 Prediction:0.76902756690979
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 11
预测值 pred 是： 0.7767706751823426
均方误差  error 是： 0.0005396015314842384
纯误差 C_error 是： -0.023229324817657493
缩放、负值反转和停止direction_and_amount是： -0.011614662408828746
修改权重后的 weight是： 1.5651560127735138
Error:0.0005396015314842384 Prediction:0.7767706751823426
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 12
预测值 pred 是： 0.7825780063867569
均方误差  error 是： 0.000303525861459885
纯误差 C_error 是： -0.017421993613243147
缩放、负值反转和停止direction_and_amount是： -0.008710996806621574
修改权重后的 weight是： 1.5738670095801353
Error:0.000303525861459885 Prediction:0.7825780063867569
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 13
预测值 pred 是： 0.7869335047900676
均方误差  error 是： 0.00017073329707118678
纯误差 C_error 是： -0.013066495209932416
缩放、负值反转和停止direction_and_amount是： -0.006533247604966208
修改权重后的 weight是： 1.5804002571851015
Error:0.00017073329707118678 Prediction:0.7869335047900676
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 14
预测值 pred 是： 0.7902001285925507
均方误差  error 是： 9.603747960254256e-05
纯误差 C_error 是： -0.009799871407449312
缩放、负值反转和停止direction_and_amount是： -0.004899935703724656
修改权重后的 weight是： 1.5853001928888262
Error:9.603747960254256e-05 Prediction:0.7902001285925507
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 15
预测值 pred 是： 0.7926500964444131
均方误差  error 是： 5.402108227642978e-05
纯误差 C_error 是： -0.007349903555586956
缩放、负值反转和停止direction_and_amount是： -0.003674951777793478
修改权重后的 weight是： 1.5889751446666196
Error:5.402108227642978e-05 Prediction:0.7926500964444131
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 16
预测值 pred 是： 0.7944875723333098
均方误差  error 是： 3.038685878049206e-05
纯误差 C_error 是： -0.005512427666690245
缩放、负值反转和停止direction_and_amount是： -0.0027562138333451225
修改权重后的 weight是： 1.5917313584999646
Error:3.038685878049206e-05 Prediction:0.7944875723333098
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 17
预测值 pred 是： 0.7958656792499823
均方误差  error 是： 1.7092608064027242e-05
纯误差 C_error 是： -0.004134320750017739
缩放、负值反转和停止direction_and_amount是： -0.0020671603750088696
修改权重后的 weight是： 1.5937985188749735
Error:1.7092608064027242e-05 Prediction:0.7958656792499823
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 18
预测值 pred 是： 0.7968992594374867
均方误差  error 是： 9.614592036015323e-06
纯误差 C_error 是： -0.0031007405625133044
缩放、负值反转和停止direction_and_amount是： -0.0015503702812566522
修改权重后的 weight是： 1.5953488891562302
Error:9.614592036015323e-06 Prediction:0.7968992594374867
%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****%%%%%%#####*****
当前循环次数是： 19
预测值 pred 是： 0.7976744445781151
均方误差  error 是： 5.408208020258491e-06
纯误差 C_error 是： -0.0023255554218849506
缩放、负值反转和停止direction_and_amount是： -0.0011627777109424753
修改权重后的 weight是： 1.5965116668671726
Error:5.408208020258491e-06 Prediction:0.7976744445781151

进程已结束,退出代码0
qhqlnannan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python神经网络代码实现流程(三)：反向传播与梯度下降
ORIGINAL GEOMETRY
11-06 2240
前向传播为输入的矩阵经过计算到输出层，而反向传播与梯度下降则是训练神经网络的核心步骤． 梯度下降算法的代码如下：def SGD(self, training_data, epochs, mini_batch_size, eta, test_data = None): if test_data: n_test = len(test_data) n = len(training
第四章神经网络的学习算法——随机梯度下降numpy代码详解
12-21
本专栏是书《深度学习入门》的阅读笔记一共八章： 第一章深度学习中的Python基础。主要讲解了深度学习将要用到的python的基础知识以及简单介绍了numpy库和matpoltlib库，本书编写深度学习神经网络代码仅使用Python和numpy库，不使用目前流行的各种深度学习框架，适合入门新手学习理论知识。 第二章感知机。主要介绍了神经网络和深度学习的基本单元感知机。感知机接收多个输入，产生一个输出，单层感知器可以实现与门，或门以及与非门，但是不能实现异或门，异或门的实现需要借助多层感知机，这也就是说，单层感知机只能表示线性空间，而非线性空间的表示需要借助多层感知机。 第三章神经网络——基于n
梯度下降法【Python】
Infinity_and_beyond的博客
10-02 735
的实现，对于其中部分数据不太清楚的只需打印出来看看即可。站看吴恩达老师视频，此处聚焦于。梯度下降法是线性回归模型中求。参数的一种方法，具体定义可在。
BP神经网络 鸢尾花分类 Python 随机梯度下降法 Adagrad（自适应梯度下降法） dropout优化算法
GV5555的博客
11-27 2668
这里用我自己的语言来讲解鸢尾花分类的三种算法，基础的是随机梯度下降法，第二部分用Adagrad（自适应梯度下降法）来替代随机梯度下降法进行优化，第三部分在基础代码上增加dropout算法来优化模型。 其中Adagrad（自适应梯度下降法）和dropout算法的原理需要大家自己去了解，了解了之后再看我的代码就可以很快地理解了！
神经网络入门-回归问题（梯度下降法）-python实现
zh的csnd
11-09 669
程序实现的功能 给定一些点，拟合出回归直线，数据在百度云链接 1.以numpy格式读取csv文件 points = np.genfromtxt("data.csv", delimiter=",") print(points) 打印一下point看一下numpy格式 2.初始化直线的参数 w，b，直线的形式如图所示，初始化w和b都为0 在这里插入代码片 initial_b = 0 # i...
python实现神经网络梯度下降算法_python实现随机梯度下降（SGD）
weixin_39754398的博客
12-05 545
使用神经网络进行样本训练，要实现随机梯度下降算法。这里我根据麦子学院彭亮老师的讲解，总结如下，(神经网络的结构在另一篇博客中已经定义)：def SGD(self, training_data, epochs, mini_batch_size, eta, test_data=None):if test_data:n_test = len(test_data)#有多少个测试集n = len(train...
python写出梯度下降的代码
m0_53697837的博客
05-02 1185
使用Python实现的基本梯度下降（Gradient Descent）算法的示例
【机器学习】梯度下降 (python代码）
Liaiblog
10-03 488
梯度下降
神经网络梯度下降法python代码_学习率衰减加冲量优化的梯度下降法Python实现方案...
weixin_36059505的博客
02-05 494
应用场景优化算法经常被使用在各种组合优化问题中。我们可以假定待优化的函数对象\(f(x)\)是一个黑盒，我们可以给这个黑盒输入一些参数\(x_0, x_1, ...\)，然后这个黑盒会给我们返回其计算得到的函数值\(f(x_0), f(x_1), ...\)。我们的最终目的是得到这个黑盒函数的最优输入参数\(x_i\)，使得\(f(x_i)=min\{f(x)\}\)。那么我们就会想到，通过不断的...
13行Python代码实现一个神经网络（Part 2 - 梯度下降法）
Nico_S的专栏
08-04 1522
Declaration: 本文翻译自iammask的blog，原作者保留本文知识产权，转载请注明出处。 Part 1 “一个 11 行 Python 代码实现的神经网络（第一部分）”的翻译可以在此处找到摘要：本文主要通过一个简单的例子和python实现讲解梯度下降法。 后续：我会继续尝试利用现有的算法（比如Dropout，DropConnect，和Momentum）为本文的例子加入一些有趣的特性
梯度下降算法python 完整代码
weixin_42601134的博客
02-10 572
梯度下降算法是一种用于求解最小值的算法，常用于机器学习中的参数优化。在进行机器学习训练时，我们通常需要使用梯度下降算法来优化模型的参数，以使得模型的预测效果更好。 下面是一个简单的梯度下降算法的 Python 代码实现： def gradient_descent(x, y, theta, alpha, num_iters): """ :param x: 输入变量，矩阵 :p...
梯度下降-感知器-神经网络.zip
06-23
梯度下降法。神经网络入门：感知器 批量梯度下降 随机梯度下降 多层神经网络。基于Python numpy实现神经网络和梯度下降算法。
梯度下降法 和 共轭梯度下降 python实现.zip
08-25
梯度下降法 和 共轭梯度下降 python实现.zip
机器学习(线性回归和梯度下降算法的python实现).zip
08-25
机器学习(线性回归和梯度下降算法的python实现).zip
python实现BP神经网络
03-02
初始化网络权重和偏置：使用随机值初始化神经网络的权重和偏置，这些参数用于将输入数据传递到网络的每一层。 前向传播：利用当前网络权重和偏置，将输入数据传递到网络的每一层，并计算每个神经元的输出值。 计算...
python实现标准的BP神经网络算法
01-14
python 实现标准的BP神经网络算法
Ansible 指定受控端使用Python的版本
shijin741231的博客
04-20 597
最近在装Ansible，有一台受控端Ubuntu16的服务器，安装了Python2.7.12和Pyhon3.5。当用Ansible连接它时，显示使用的是Python3.5。最后看文档，发现Ansible可以在hosts的文件中指定受控服上运行的Python。
【编译程序介绍】
武帝为此的博客
04-22 1209
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 235
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
python 神经网络 梯度下降
10-21
在Python中，可以使用各种深度学习框架（如TensorFlow、PyTorch等）来实现神经网络的梯度下降算法。通常，我们需要定义神经网络的结构和损失函数，并使用反向传播算法计算梯度，然后使用优化器（如Adam、SGD等）来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值