【ZJU-Machine Learning】后向传播算法

最新推荐文章于 2023-05-09 21:49:20 发布
最新推荐文章于 2023-05-09 21:49:20 发布
阅读量238 收藏
点赞数
分类专栏： 【ZJU】机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45654306/article/details/113158597
版权

建立的简易模型

在这里插入图片描述

在这里插入图片描述

梯度下降法

在这里插入图片描述

将其泰勒展开，可以看到，f(wk+1)>f(wk)
在这里插入图片描述

建立在简易模型的BP算法

定义目标函数：
在这里插入图片描述
算法流程：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

激活函数

阶跃函数

在这里插入图片描述

sigmoid

将阶跃函数进行改造
在这里插入图片描述

tanh

在这里插入图片描述
在这里插入图片描述

在上述两种 函数中，当x很大时，其函数值变化不大，存在上界，也就是算出来的x很大时，其向后传导的信息被压缩了，也就是所谓的梯度消失。此外，还有可能出现梯度爆炸。

relu

在这里插入图片描述

对于这个函数，当x<0时，使其函数值为0，也就是如果神经元算出，x为负值，那么不再将其向后传播，（也就是杀死这些神经元，使其失活）以减小训练的规模。仅保留x>0的神经元，且不设上界，避免了梯度消失和梯度爆炸，防止过拟合。

Leak Relu

在这里插入图片描述
没有完全杀死那些x<0的神经元，只是降低神经元的活性。

通用的BP算法

（求偏导时，要从后先前求）

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

SuperSources
关注
专栏目录
2021-ZJU-Machine-Learning:浙江大学机器学习
03-30
2021-ZJU-机器学习浙江大学机器学习课程概述： 2016年，人工智能机器人AlphaGO击败了围棋世界冠军李世石，这场史无前例的“人机大战”将AI引入社会舆论的风口浪尖上。AI是什么？AI对人类有什么作用？扮演怎样的角色...
自学机器学习笔记（九）
qq_51963033的博客
01-24 480
后向传播算法 几个编导数之间是相互关联的 利用链式求导法 先计算这三个点 接着 可得 综合我们可得 同理我们可以得到 同理 因为其从输出往输入推，从后往前传递，所以叫后向传播算法 总结后向传播算法的步骤： （1）对神经网络每一层的各个神经元，随机选取相应的w，b的值 （2）设置目标函数E，例如E=1/2（y-Y）^2，用后向传播算法对每一个w和b，计算 （3）利用如下迭代公式，更新w和b的值 （4）回到（2），不断循环，直到所有...
后向传播(BackPropagation)算法理解
xuzhongxiong的博客
12-21 1万+
后向传播算法是深度学习中一种训练与学习方法，用来调整深度网络中各个节点之间的权重，使得网络输出的样本标签与实际标签相一致。本文将对后向传播算法的实现细节进行总结。 后向传播算法是将输出层的误差向后进行传播来实现权重的调整。如图1所示，一个含有1个隐藏层的网络，输入层有2个节点，隐藏层有3个节点，输出层有2个节点。 图1 示例网络 则后向传播的实现细节如下： 1.计算输出层各个节点的误差
第九章 后向传播算法（分类）
moving
08-05 3430
1、神经网络          后向传播(Back—PropagationNetwork，简称BP网络)是一种神经网络学习算法。 神经网络最早是由心理学家和神经学家开创的，旨在寻求开发和检验神经的计算模拟。粗略地说，神经网络是一组连接的输入/输出单元，其中每个连接都与一个权重相关联。在学习阶段，通过调整这些权重，使得它能够正确预测输入样本的类标号。 神经网络的缺点： (1)需要很长的训练时
机器学习笔记——人工神经网络(2)——后向传播算法
weixin_45669062的博客
09-29 2313
后向传播算法，简称BP算法，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。 后向传播算法（Back Propagation） 主要思想：梯度下降发求局部极值（Gradient Descent Method） 假设有函数 f（ω），我们希望找到这个函数上.
【数据挖掘】神经网络 后向传播算法 ( 神经网络分类 | 适用场景 | 优缺点 | 多路前馈神经网络 | 后向传播算法步骤 | 初始化权 | 向前传播输入 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-23 1821
I . 基于 神经网络 进行分类 II . 神经网络分类适用场景 III . 神经网络分类的弊端 IV . 神经网络分类的优点 V . 后向传播算法 VI . 后向传播算法 网络拓扑定义 VII . 后向传播算法 学习过程 VIII . 后向传播算法 步骤 IX . 后向传播算法 初始化权 X . 后向传播算法 步骤 二 : 向前传播输入 第一层输入值 XI . 后向传播算法 步骤 二 : 向前传播输入 隐藏层 与 输出层 输入值计算 XII . 后向传播算法 步骤 二 : 向前传播输入 隐藏层 与 输出层
Machine-Learning:学习和编程机器学习
05-10
Machine-Learning 介绍 这里是机器学习以及数据分析的相关内容 内容
QSCTech#zju-icicles#考点1
07-25
2、课后作业题6.8 3、Minimax 给一个只有叶子节点值的图 叉掉α-β pruning 4、贝叶斯网络 5、Markov Network 给一个Mark
zju-isee
03-20
朱塞伊塞 为了方便管理，建了一个个人仓库。上面是一些信电和计院的课程。慢慢更新中。不能保证作业质量，有些课我特别划水。...【2020-2021春夏】高级数据结构与算法分析 【2020-2021春夏】编译原理
Zero-Shot-Learning:〜ZJU AI竞赛的ZeroShot学习（GAN方法）
05-17
这是2018年ZJU AI挑战零发学习竞赛的Parsian项目。 比赛吸引了来自全球的3225支队伍参加比赛。 我们的团队“ Parsian”在比赛结束时排名第14位。 档案文件 project │ README.md └───data │ └───...
5. 人工神经网络后向传播算法推导.pdf
06-22
胡兆基机器学习课的笔记，非常精彩，利于学习消化理解
后向传播基本原理和步骤
百年孤独百年的博客
04-19 2020
在神经网络中，后向传播是指通过比较输出结果和真实标签，计算损失函数对每个权重和偏置的偏导数，并将其传递回网络中的每一层，从而更新权重和偏置的过程。通过反向传播误差信号来优化模型参数，使得模型的预测结果更加准确。
人工神经网络 - 后向传播算法（Back Propogation）
qq_39215715的博客
09-11 1796
文章目录一、人工神经网络 - 后向传播算法二、推导 BP 算法1.运用实际例子推导 BP2.为什么叫做后向传播算法？3.一些常见的非线性函数 一、人工神经网络 - 后向传播算法 本质上就是梯度下降法（Gradient Descent Method）求极值。 找一个w0 设 k = 0，假设 d f(w) / d w = 0，退出，否则 wk+1 = wk - a (d f(w) / d w)|wk 二、推导 BP 算法 1.运用实际例子推导 BP 以如下例子进行讲解，X是二维向量，φ是一个非线性函数，
神经网络后向传播计算过程
黑脚印 DarkSpoor
03-03 1413
神经网络设置已经确定的前提下，如何优化网络中待求的参数呢？ 以一个2层神经网络举例说明如何优化网络参数。 前向传播，计算过程如下： 用一个统一的式子表达： 为了计算y与Y之间的差距(y是前向传播算出的值，Y是标签值)，引入损失函数（目标函数）： 梯度下降法寻找极值： 以一维函数举例 通过不断地迭代计算，就能找到一个x值，使y的值最小。训练网络的过程可以使用梯度下降法，找到一组参数值使损失函数的值达到最小。 由于梯度下降法是从网络的右侧向左逐层...
【数据挖掘】神经网络 后向传播算法( 向后传播误差 | 输出层误差公式 | 隐藏层误差公式 | 单元连接权值更新公式 | 单元偏置更新公式 | 反向传播 | 损失函数 | 误差平方和 | 交叉熵 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-27 5625
I . 向后传播误差 简介 II . 输出层误差计算公式 III . 隐藏层层误差计算公式 IV . 使用误差更新 连接权值 V . 使用误差更新 单元偏置 VI . 反向传播 过程 VII . 损失函数 简介 VIII . 损失函数 IX . 损失函数 举例 X . 损失函数 优化过程
机器学习 神经网络 BP 向后传播算法
最新发布
m0_70322975的博客
05-09 167
怎样去更新权重w和偏置b呢？则是利用 梯度下降算法。假如将训练集中拿一个作为输入进入神经网络，若输出。BP 向后传播算法推导到此也就可以推导出来了👍。像这种网络叫做全连接网络，也叫做前向传播网络。为神经网络的损失函数，评判模型的好坏。w 叫做每一次传播的权重 b则是偏置。假设有m层 每一层用l表示。叫做误差项，或者叫做灵敏度。x为特征属性 y为标签。说明这个神经网络不错。依次向后推，即可求出。
第三章 人工神经网络（3）反向传播
aduan__的博客
02-24 318
人工神经网络
【数据挖掘】神经网络 后向传播算法 ( 梯度下降过程 | 梯度方向说明 | 梯度下降原理 | 损失函数 | 损失函数求导 | 批量梯度下降法 | 随机梯度下降法 | 小批量梯度下降法 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-28 1847
I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 ) II . 梯度下降 示例说明 ( 单个参数 ) III . 梯度下降 示例说明 ( 多个参数 ) IV . 梯度下降 总结 ( 定义损失函数 | 损失函数求导 ) V . 梯度下降 方法 VI . 批量梯度下降法 VII . 随机梯度下降法 VIII . 小批量梯度下降法
给初学者们讲解人工神经网络（ANN）
热门推荐
日拱一卒
06-09 4万+
1.介绍 这份教学包
zju-i型机械臂点到点轨迹规划python
05-01
ZJU-I型机械臂是一种由浙江大学机器人研究所开发的六自由度机械臂，具有高速、精度和可靠性等特点。机械臂的运动控制是机器人中的重要研究领域之一，其中点到点轨迹规划是机器人在运动过程中最基础和常用的一种方式，也是机械臂控制的核心问题之一。 点到点轨迹规划的目标是通过给定的起点和终点，计算出机械臂的运动轨迹，使机械臂在运动过程中满足机械臂轨迹的连续性、平滑性、可控性等要求。在过去的研究中，经典的点到点轨迹规划方法包括插值法、线性规划法、最小能量法等。 如果使用Python实现机械臂的点到点轨迹规划，可以采用Robotics Toolkit（简称robot）这个模块。robot模块提供了各种从轨迹规划、控制到仿真的功能，可用于ROS、Vrep、Webots等机器人仿真软件。使用robot模块，可以通过几行代码实现机械臂的点到点轨迹规划，例如： ``` from roboticstoolkit import robot from roboticstoolkit.robots import zju # 初始化机器人 zju_arm = robot.Robot('zju', zju.URDF) # 设定起点和终点 start = [0, 0, 0, 0, 0, 0] goal = [0, 1, 1, 0.5, 0, 0] # 计算机械臂的轨迹 path = zju_arm.get_trajectory(start, goal) # 控制机械臂运动到终点 zju_arm.move_to(goal) ``` 其中，`roboticstoolkit`和`roboticstoolkit.robots`都是导入的Python模块，`zju`是机械臂的URDF定义文件，`start`和`goal`是起点和终点的坐标，`get_trajectory()`函数会返回计算得到的机械臂轨迹，`move_to()`函数则控制机械臂运动到终点。 总之，使用Python实现ZJU-I型机械臂的点到点轨迹规划相对简单，只需要导入相应的模块，并根据需要设置机械臂的各种参数，即可轻松实现机械臂的控制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值