机器学习基础学习-关于反向传播算法的一些记录

最新推荐文章于 2024-09-14 20:23:55 发布
最新推荐文章于 2024-09-14 20:23:55 发布
阅读量1k 收藏
点赞数
分类专栏： 深度学习 机器学习 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47146037/article/details/123627978
版权

梯度下降与随机梯度下降

我们期望代价函数尽可能的小，但实际情况下我们不能直接通过数学解解除对应的最小值，于是产生了我们的梯度下降法求代价函数的最小值，相关概念可以看前面的博客
在这里插入图片描述
将代价函数看做两个维度上的更改，那么代价函数引起的变化，是由v1、v2引起的
在这里插入图片描述

将两个维度上的变化写成向量的形式
在这里插入图片描述
在这里插入图片描述
我们希望代价函数尽可能小，所以这里代价函数的变化我们期望为负值，我们取
在这里插入图片描述
因此可以得到代价函数的变化
在这里插入图片描述
恒为负数。

进而进行梯度下降的过程
在这里插入图片描述

随机梯度下降

我们期望以部分样本代价函数的平均来估计所有样本代价函数的平均
在这里插入图片描述

反向传播算法

上面的梯度下降的过程描述了如何求代价函数最小的过程，其中梯度下降的过程我们需要知道梯度是多少，而梯度的求法就是我们的反向传播算法。

反向传播算法可以分为正向传播和反向误差传播
在这里插入图片描述
其实这里以数学的链式求导来理解会比较好理解
在这里插入图片描述

假设我们的代价函数的变化是由于第l层到第l+1层的w的变化引起的，我们从代价函数开始追溯，追溯到w的变化，可以理解成链式求导的过程
在这里插入图片描述
在这里插入图片描述
另外补充一点，这里的误差反向传播的由来，我们可以想一下，如果代价函数是均方误差的表示，那么对第一层的激活函数求导，得到的y-a就是我们的误差，这也是误差这个叫法的由来
在这里插入图片描述

小夭。
关注
专栏目录
机器学习17：训练神经网络-反向传播算法
Jin_Kwok的博客
07-04 1531
反向传播算法对于快速训练大型神经网络至关重要，本文将介绍算法的工作原理。
机器学习二------前向传播过程 反向传播算法（BP算法）Dropout 梯度消失和梯度爆炸
qq_44068512的博客
09-30 3050
1.前向传播过程 ajl为第l层第j个神经元的激活值（激活函数的输出)，不难看出，ajl的值取决于上一层神经元的激活： 将上式重写为矩阵形式： 为了方便表示，记 为每一层的权重输入， (2)式则变为 　　利用 (2)式一层层计算网络的激活值，最终能够根据输入 X得到相应的输出Y'。 2.反向传播过程 反向传播过程中要计算，我们先对代价函数做两个假设，以二次损失函数为例： 其中n为训练样本x的总数，y=y(x)为期望的输出，即ground truth，L为网络的层数，为...
系列之2-神经网络中反向传播与梯度下降的基本概念
weixin_34219944的博客
11-12 1220
全套教程请点击：微软 AI 开发教程 预警：本篇博客中会涉及到偏导数的概念，但是非常初级，很容易理解，建议硬着头皮看，跟着算一遍，看完之后保证会觉得人生美好了很多。 反向传播和梯度下降这两个词，第一眼看上去似懂非懂，不明觉厉。这两个概念是整个神经网络中的重要组成部分，是和误差函数/损失函数的概念分不开的。 神经网络训练的最基本的思想就是：先“蒙”一个结果，我们叫预测结果a，看看这个预测结果和事先标...
机器学习系列之梯度下降法
Lionel的博客
12-25 615
梯度下降法梯度下降法又叫最速下降法，是一种最优化算法。它用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。 梯度下降法的计算过程就是沿着梯度下降的方向求解极小值。（亦可以沿着梯度上升的方向求解极大值）。它的迭代公式为: ak+1=ak+γks−(k)(式1−1)a_{k+1}=a_{k}+\gamma_ks^{-(k)}(式1-1) 其中，s−(k)s^{-(k)}代表的是
神经网络正向与反向传播
qq_52302919的博客
03-11 4121
一、神经网络的前向传播原理 在全连接神经网络中，每一层的每个神经元都会与前一层的所有神经元或者输入数据相连，例如图中的 f1(e)f _1 ( e )f1​(e)就与x1x_1x1​ 和 x2x_2x2​ 分别相连。因此，在计算的时候，每一个神经元的输出=使用激活函数激活前一层函数的累加和。 下面将通过一个具体例子来理解反向传播的具体流程。下图是一个神经网络的结构图，其中： 输入数据：i1=0.05，i2=0.10 ;权重系数：w1=0.15，w2=0.20，w3=0.25，w4=0.30，w5=0.40
机器学习-反向传播算法
haha_426的博客
07-28 794
在学习反向传播算法之前，需要先弄清楚前向传播。 <-----------------------------------------前向传播求损失，反向传播求误差---------------------------------------> 由图可见，输入层和权重经过线性变化之后会得到Z（即图中的Z1和Z2），在隐藏层经过激活函数（如sigmoid函数）得到A（即图中的a1和a2），第二层隐藏层也是如此计算，最后得到输出值，这个过程就叫做前向传播。 得到的输出值与实际的值y存在误差.
反向传播算法_机器学习-反向传播算法
weixin_39661345的博客
12-10 247
本文试图探讨反向传播算法，但只关注思想和原理，寻求一个直观感性的认识。所以，文中所举的例子、使用的公式都力图简单。简，就意味着会损失细节、不够全面。如果对反向传播算法已经有所涉及，希望全面、深入了解的童鞋可以绕道，以免浪费时间。一、付出与收获诗《悯农》中有这么两句：春种一粒粟，秋收万颗子。问：如果一个农夫春天种下10粒种子，那么他秋天能收多少粮食？因为一颗对一万颗，所以10颗种子收获的粮食为：颗。...
机器学习-误差反向传播
06-28
### 机器学习中的误差反向传播技术解析 #### 一、引言 随着人工智能技术的飞速发展，机器学习作为其核心组成部分之一，在诸多领域取得了显著成果。其中，“误差反向传播”（BackPropagation，简称BP）算法是训练...
论文研究 - 弹性反向传播算法在HIV母婴传播预测中
05-28
尽管已经使用了不同的统计技术和机器学习算法来预测具有二进制结果变量的临床数据的模型（例如HIV），但是神经网络技术还是主要的预测对象。 艾滋病毒是全球育龄妇女死亡的主要原因，并且是孕产妇，婴儿和儿童发病...
深度学习基础之反向传播算法Good.pdf
04-19
反向传播算法是深度学习领域中非常核心的算法之一，它是一种用来训练人工神经网络的高效算法，尤其是在多层感知器网络中。反向传播算法利用链式法则进行梯度计算，从而可以高效地更新网络中的权重和偏置，使得整个...
机器学习自动化建模AutoML
西木风落
09-14 120
实体entity: 可以简单理解为特征列关系relationship：实体与实体之间的关联键定义特征算子：一些特征工程函数，应用于特征实体集合关系来构造新的特征，如groupby, mean,max等；
机器学习--VGG
ID246783的博客
09-14 786
我们已经见过了LeNet和AlexNet，一个是3层，一个是7层，那么如果我们想实现一些更多层的神经网络要怎么办呢，还是手动开每一层吗？显然不能这么原始，所以我们想到了一件事：为社么不试试for循环呢qwq这就是vgg的本质了。
第十一周：机器学习
Zcymatics的博客
09-07 1258
本周周报主要讲述了注意力机制中更加细节的内容，周报讲述了相关的复杂性如果通过多头注意力机制解决的方法，并讲述了注意力机制如果通过位置编码方式解决先后位置的问题。此外，本周周报在注意力机制的章节中，将self-attention与CNN和RNN进行了比较以及其在实际场景的应用。在RNN的章节中，本周报详细描述了RNN的概念、RNN的变形拓展、以及LSTM。然后，本周报在Pytorch的章节，讲述了优化器的概念以及原理，并在最后展示了优化器使用的代码。
机器学习与深度学习的区别
警警的博客
09-14 1020
机器学习与深度学习
ARMxy系列边缘计算网关用于智慧工厂机器学习智能分析
weixin_49512855的博客
09-14 566
ARMxy 系列边缘计算机以其卓越的性能和优势，在机器学习、人工智能、云边端智能终端、AIoT、边缘计算等领域具有广阔的应用前景。它的发布将为这些领域的发展带来新的机遇和挑战，开启机器学习与人工智能的新征程。这种模式可以有效降低延迟、提高响应速度，并减少对云端的依赖，为实时性要求较高的应用提供了有力支持。它为机器学习和人工智能在边缘端的应用提供了强大的计算平台，开启了机器学习与人工智能的新征程。人工智能则以其强大的数据分析和决策能力，为人们的生活和工作带来了极大的便利。
机器学习和深度学习的区别
jun778895的博客
09-10 823
机器学习：是人工智能的一个分支，它让计算机能够在没有明确编程的情况下，通过观察和分析大量数据来学习并做出预测或决策。机器学习起源于20世纪50年代，随着算法的不断发展，逐渐形成了多种经典算法，如决策树、支持向量机、随机森林等。深度学习：则是机器学习的一个子领域，它主要依赖于深度神经网络模型进行学习和预测。深度学习在21世纪初开始兴起，特别是随着计算能力的提升和大数据的普及，深度学习算法得以广泛应用，并取得了显著成效。
【机器学习】10——logistic的直观理解
最新发布
qq_43507078的博客
09-14 277
logistic，逻辑斯蒂
深度学习--对抗生成网络（GAN, Generative Adversarial Network）
GDHBFTGGG的博客
09-07 1295
对抗生成网络（GAN）是近年来在生成式模型领域的重要突破，通过生成器与判别器的对抗博弈，GAN能够生成高度逼真的数据。其应用范围广泛，涵盖了图像生成、数据增强、超分辨率重建、风格迁移等多个领域。然而，GAN的训练过程具有挑战性，特别是在平衡两者的对抗关系上仍然存在技术难题。随着技术的不断发展，GAN在生成数据、创造内容等方面的应用前景将更加广阔。
机器学习--AlexNet
ID246783的博客
09-14 620
这个netnetnet其实就是比LeNetLeNetLeNet# 第一阶段# 第二阶段# 第三阶段# 第四阶段net.add(nn.Dropout(.5)) # 50% 的概率的丢掉 但期望不变# 第五阶段# 第六阶段net.add(nn.Dense(10)) # 真实的AlexNet是1000 但是我们这里还是用的mnist 所以就是10print(net)我们可以看看打印出来的netnetnet然后我把LeNetLeNetLe。
头歌平台 机器学习 --- 反向传播算法
04-28
反向传播算法是一种常用的机器学习算法，用于训练神经网络。它的基本思想是通过前向传播计算出每个神经元的输出，然后通过反向传播计算出每个神经元对误差的贡献，最后通过梯度下降法更新神经元的权重，使误差最小化。具体来说，反向传播算法会将预测值与实际值之间的误差向后传递，计算每个神经元对误差的贡献，并根据这些贡献更新神经元的权重。这样不断迭代，直到误差最小化为止。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值