第三章 人工神经网络（3）反向传播

最新推荐文章于 2024-03-21 13:59:06 发布
最新推荐文章于 2024-03-21 13:59:06 发布
阅读量270 收藏 2
点赞数 1
文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aduan__/article/details/129205629
版权

人工神经网络

后向传播算法（上）

在这里插入图片描述
平方损失
在这里插入图片描述
在这里插入图片描述
利用梯度下降的算法，我们需要计算这九个偏导数，这样计算太过麻烦，计算量太大。

那么我们如何根据神经网络这种分层的结构来简化求解偏导数的计算呢？这就是我们的后向传播算法

后向传播核心：这九个偏导数是相互关联的，根据偏导数的链式求导法则，可以用已经算出的偏导数去计算还未算出的偏导数，这笔直接计算九个偏导数要方便很多。

在这里插入图片描述
我们先去计算红圈的偏导数，这三个点是枢纽，其他的偏导数可以根据这三个点算出来。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

原则上就是一个简单地链式求导法则，因为各层之间的变量函数关系是嵌套的，相互关联的，所以我们可以先算中间层，之后就可以方便我们计算别的偏导数了。

后向传播：输出往输入推，从后向前，所以叫做后向传播。

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

反向传播算法（下）

推广到更一般的网络，我们不限定层数。

在这里插入图片描述
第一行是第一层 a(0)是第一层的输入，在最后得到a(1)，之后的函数是连接两层之间的非线性函数。
在这里插入图片描述
最后结果：
在这里插入图片描述

总结

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

反向传播的应用

实际应用中需要进一步改进。

非线性函数的改进

在这里插入图片描述
后向传播需要对非线性函数求导，但是阶跃函数没有导数。

我们必须对非线性函数进行改造。

在这里插入图片描述在这里插入图片描述
三层神经网络可以模拟任何决策面的证明是基于阶跃函数的，但是对于SIGMOID函数依旧是可以适用的。

在这里插入图片描述

第一个改进是利用：SIGMOID和rank函数来替代原来的阶跃函数

SOFTMAX和交叉熵

向量机中二分类问题标签取值：
在这里插入图片描述
人工神经网络中二分类问题标签取值：
在这里插入图片描述
K分类、K维的话，人工神经网络变为了K为变量。
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
第二个改进就是利用SOFTMAX函数和交叉熵来改进目标函数，实践证明这样的目标函数比前面的目标函数（平方损失函数），更有利于训练，在实际中获得的识别率更高。

随机梯度下降法

在这里插入图片描述
每输入一个样本就要训练样本就要更新一下参数。

但是在实际应用中，我们的训练将非常慢。单一数据带来的随机性是非常大的，这样会让数据收敛变得非常慢。

在这里插入图片描述
在这里插入图片描述
以上10000/100=100个BATCH

按照BATCH遍历所有训练样本一次，我们称为一个EPOCH。
在这里插入图片描述
在随机梯度下降法SGD里，每一次训练整个训练集称为一个epoch，可以有好多个epochs；

batch越多说明分的越细
epoch训练的时候就越复杂
效果就越好

啊短
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
5. 人工神经网络后向传播算法推导.pdf
06-22
胡兆基机器学习课的笔记，非常精彩，利于学习消化理解
人工神经网络MATLAB程序代码
02-26
第一章 人工神经网络………………………………………………… 3 §1.1人工神经网络简介………………………………………………………… 3 1．1 人工神经网络的起源 …………………………………………………… 3 1．2 ...
【神经网络】{7} ——理解反向传播
Giyn
02-21 624
为了更好地理解反向传播，先进一步地研究一下前向传播的过程： 这是一个含2个输入单元的神经网络结构（没有把偏置单元算进去），第二层有2个隐藏单元，再下一层也有2个，最后只有一个输出单元。 在进行前向传播时，我们的样本，比如(x^ (i),y^ (i))，把这个x^ (i)传到输入层中。 z(2)_1和 z(2) _2是输入单元的加权和。 然后将sigmoid逻辑函数，还有sigmoid激活...
干货|神经网络及理解反向传播
小白学视觉
12-07 4086
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达一、人工神经网络简述下面开始说神经网络。注意，当我们说N层神经网络的时候，我们没有把输入层算入（因为输入层只是输入数据...
人工神经网络——反向传播
最新发布
顺其自然~专栏
03-21 98
利用梯度下降的算法，我们需要计算这九个偏导数，这样计算太过麻烦，计算量太大。那么我们如何根据神经网络这种分层的结构来简化求解偏导数的计算呢？这就是我们的后向传播算法。反向传播核心：这九个偏导数是相互关联的，根据偏导数的链式求导法则，可以用已经算出的偏导数去计算还未算出的偏导数，这比直接计算九个偏导数要方便很多。我们先去计算红圈的偏导数，这三个点是枢纽，其他的偏导数可以根据这三个点算出来。
【深度学习】（三）神经网络与反向传播算法
qq_37880748的博客
08-18 1700
神经元 神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示： 计算一个神经元的输出的方法和计算一个感知器的输出是一样的。假设神经元的输入是向量，权重向量是(偏置项是 )，激活函数是sigmoid函数，则其输出： sigmoid函数的定义如下： 将其带入前面的式子，得到 sigmoid函数是一个非线性函数，值域是(0,1)。函数图像如下图所示 sigmoid函数的导数..
1.3 浅层神经网络（前向/反向传播的计算、不同激活函数、随机初始化参数）
bijingrui的博客
08-09 999
浅层神经网络
机器学习 day09神经网络参数的反向传播算法
博客
07-16 331
01 代价函数 有m组训练样本，L代表神经网络结构的总层数，S_l代表第L层的单元数也就是神经元的数量（不包括第L层的偏差单元）。其中二元分类与多类别分类问题如下： 应用于神经网络的代价函数：h(x)是一个k维向量，h(x)_i代表第i个输出；k的求和符号应用于y_k和h_K,是因为我们主要是将第k个输出单元的值和y_k的值的大小作比较；y_k的值就是这些向量中其应属于哪个类的量。 02 反向传播算法 反向传播算法是计算代价函数关于所有参数的导数或者偏导数的一种有效方法。 使用前向传播方法来
后向传播(BackPropagation)算法理解
xuzhongxiong的博客
12-21 1万+
后向传播算法是深度学习中一种训练与学习方法，用来调整深度网络中各个节点之间的权重，使得网络输出的样本标签与实际标签相一致。本文将对后向传播算法的实现细节进行总结。 后向传播算法是将输出层的误差向后进行传播来实现权重的调整。如图1所示，一个含有1个隐藏层的网络，输入层有2个节点，隐藏层有3个节点，输出层有2个节点。 图1 示例网络 则后向传播的实现细节如下： 1.计算输出层各个节点的误差
第九章 后向传播算法（分类）
moving
08-05 3213
1、神经网络          后向传播(Back—PropagationNetwork，简称BP网络)是一种神经网络学习算法。 神经网络最早是由心理学家和神经学家开创的，旨在寻求开发和检验神经的计算模拟。粗略地说，神经网络是一组连接的输入/输出单元，其中每个连接都与一个权重相关联。在学习阶段，通过调整这些权重，使得它能够正确预测输入样本的类标号。 神经网络的缺点： (1)需要很长的训练时
机器学习笔记——人工神经网络(2)——后向传播算法
weixin_45669062的博客
09-29 2045
后向传播算法，简称BP算法，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。 后向传播算法（Back Propagation） 主要思想：梯度下降发求局部极值（Gradient Descent Method） 假设有函数 f（ω），我们希望找到这个函数上.
【数据挖掘】神经网络 后向传播算法 ( 神经网络分类 | 适用场景 | 优缺点 | 多路前馈神经网络 | 后向传播算法步骤 | 初始化权 | 向前传播输入 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-23 1680
I . 基于 神经网络 进行分类 II . 神经网络分类适用场景 III . 神经网络分类的弊端 IV . 神经网络分类的优点 V . 后向传播算法 VI . 后向传播算法 网络拓扑定义 VII . 后向传播算法 学习过程 VIII . 后向传播算法 步骤 IX . 后向传播算法 初始化权 X . 后向传播算法 步骤 二 : 向前传播输入 第一层输入值 XI . 后向传播算法 步骤 二 : 向前传播输入 隐藏层 与 输出层 输入值计算 XII . 后向传播算法 步骤 二 : 向前传播输入 隐藏层 与 输出层
人工神经网络 - 后向传播算法（Back Propogation）
qq_39215715的博客
09-11 1611
文章目录一、人工神经网络 - 后向传播算法二、推导 BP 算法1.运用实际例子推导 BP2.为什么叫做后向传播算法？3.一些常见的非线性函数 一、人工神经网络 - 后向传播算法 本质上就是梯度下降法（Gradient Descent Method）求极值。 找一个w0 设 k = 0，假设 d f(w) / d w = 0，退出，否则 wk+1 = wk - a (d f(w) / d w)|wk 二、推导 BP 算法 1.运用实际例子推导 BP 以如下例子进行讲解，X是二维向量，φ是一个非线性函数，
bp神经网络matlab源码-bp_java:使用java的示例反向传播实现
06-07
库的开源实现有很多惊人的，在深入研究这些伟大的项目之前，我认为真的有必要手动实现一个简单的人工神经网络。这样，我们不会将这些工具包视为BlackBoxes和刚刚Draw的图形和希望，我们将不确定的时间后取得不错的...
人工神经网络讲稿 ppt
11-22
人工神经网络讲稿 一共8章内容，第1章 概述，第2章人工神经网络基本模型 第3章 EBP网络(反向传播算法） 第4章 Hopfield网络模型 第5章 随机型神经网络 第6章自组织神经网络 第7章 联想记忆神经网络 第8章 CMAC模型
BP神经网络的Matlab实现——人工智能算法.pdf
02-27
训练模式中通过神经⽹络对传播的输出激活进⾏反向传播，⽬标是⽣成所有输出和隐藏神经元的增量以便进⾏反馈调整。 Phase 2: 权值更新 3. ⽤它的输出增量和输⼊激活变量来得到权重的梯度。 4. 通过从权重中减去它的...
采用matlab复现深度网络.rar
07-18
深度学习仍然是神经网络的延伸，之前(人工神经网络之纯matlab实现1-3)大部分内容都是适用的。深度学习是一种使用深度神经网络的机器学习技术。如你所知，深层神经网络是包含两个或更多隐藏层的多层神经网络。这就是...
神经网络-反向传播
122&&113的博客
10-29 216
Back propagation： f(x,y,z)=(x+y)zf(x,y,z)=(x+y)zf(x,y,z)=(x+y)z e.g. : x=−2,y=5,z=−4;x = -2, y = 5, z = -4;x=−2,y=5,z=−4; q=x+y,∂q∂x=1,∂q∂y=1q = x+y,\frac{\partial q}{\partial x} = 1,\frac{\partial q}{\partial y} = 1q=x+y,∂x∂q​=1,∂y∂q​=1 f=qz,∂f∂q=z,∂f∂z=
深度学习：神经网络中的前向传播和反向传播算法推导
热门推荐
沧海一粟
08-08 4万+
1. 神经网络这是一个常见的神经网络的图：这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层
人工神经网络工作原理
08-21
人工神经网络是一个模仿生物神经网络的计算模型，用于处理和解决各种复杂的问题。它由许多称为神经元的单元组成，每个神经元通过加权连接与其他神经元相互作用。这些权重用于调节不同神经元之间的连接强度。 工作...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值