水很深的深度学习--前馈神经网络

最新推荐文章于 2022-10-06 14:15:26 发布
最新推荐文章于 2022-10-06 14:15:26 发布
阅读量1k 收藏 2
点赞数
分类专栏： 水很深的深度学习 文章标签： 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kezhanggg/article/details/121479116
版权

前馈神经网络

一、神经元(M-P)模型

1943 年，美国神经生理学家沃伦·麦卡洛克( Warren McCulloch ) 和数学家沃尔特 ·皮茨(Walter Pitts )对生物神经元进行建模，首次提出了一种形式神经元模型，并命名为McCulloch-Pitts模型，即后来广为人知的M-P模型。
在这里插入图片描述在M-P模型中，神经元接受其他n个神经元的输入信号(0或1)，这些输入信号经过权重加权并求和，将求和结果与阈值(threshold) θ 比较，然后经过激活函数处理，得到神经元的输出。
在这里插入图片描述

M-P 模型可以表示多种逻辑运算，如取反运算、逻辑或、逻辑与。

网络结构

人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。
在这里插入图片描述
其中圆形节点表示一个神经元，方形节点表示一组神经元。

二、感知器、多层感知器

单层感知器

1958 年，罗森布拉特( Roseblatt )提出了感知器，与 M-P 模型需要人为确定参数不同，感知器能够通过训练自动确定参数。训练方式为有监督学习，即需要设定训练样本和期望输出，然后调整实际输出和期望输出之差的方式(误差修正学习)。
在这里插入图片描述
其中，x 为训练样本，α 为学习率，r 为期望输出，y 为实际输出。
感知器权重调整的基本思路：

  • 当实际输出 y 与期望输出 r 相等时，w 和 θ 不变
  • 当实际输出 y 与期望输出 r 不相等时，调整 w 和 θ 的值
    在这里插入图片描述

下面给出感知器模型的训练过程
在这里插入图片描述

多层感知器

单层感知器只能解决线性可分问题，而不能解决线性不可分问题；为了解决线性不可分问题，我们需要使用多层感知器。
在这里插入图片描述
多层感知器指的是由多层结构的感知器递阶组成的输入值向前传播的网络，也被称为前馈网络或正向传播网络。

以三层结构的多层感知器为例，它由输入层、中间层及输出层组成

  • 与M-P模型相同，中间层的感知器通过权重与输入层的各单元相连接，通过阈值函数计算中间层各单元的输出值
  • 中间层与输出层之间同样是通过权重相连接

在这里插入图片描述

三、BP算法

多层感知器的训练使用误差反向传播算法(Error Back Propagation)，即BP算法。BP算法最早由沃博斯于1974年提出，鲁梅尔哈特等人进一步发展了该理论。

BP算法的基本过程

  • 前向传播计算：由输入层经过隐含层向输出层计算网络输出
  • 误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递
  • 由“前向传播计算”与“误差反向逐层传递”的反复进行网络训练过程

BP算法就是通过比较实际输出和期望输出得到误差信号，把误差信 号从输出层逐层向前传播得到各层的误差信号，再通过调整各层的连接权重以减小误差。权重的调整主要使用梯度下降法：梯度下降法
在这里插入图片描述

激活函数

通过误差反向传播算法调整多层感知器的连接权重时，一个瓶颈问题就是激活函数：

  • M-P 模型中使用阶跃函数作为激活函数，只能输出 0 或 1，不连续所以不可导。
  • 为了使误差能够传播，鲁梅尔哈特等人提出使用可导函数Sigmoid作为激活函数

在这里插入图片描述
Sigmoid函数的导数：
Sigmoid函数的导数
其他常见的激活函数：ReLU (Rectified Linear Unit，修正线性单元)和tanh等
在这里插入图片描述

激活函数的性质

  • 连续并可导(允许少数点上不可导)的非线性函数
  • 激活函数及其导函数要尽可能的简单
  • 激活函数的导函数的值域要在一个合适的区间内

BP算法示例

个人感觉这篇博客对BP算法示例的讲解更加清晰：深度学习之BP算法

优化问题

难点：

  • 参数过多，影响训练
  • 非凸优化问题：即存在局部最优而非全局最优解，影响迭代
  • 梯度消失问题，下层参数比较难调
  • 参数解释起来比较困难

需求：

  • 计算资源需求大
  • 数据量的需求大
  • 算法效率要好：即收敛快

非凸优化问题：
在这里插入图片描述
梯度消失问题：
在这里插入图片描述

参考文献

深度学习之BP算法
深度学习实战教程(一)：感知器
梯度下降（Gradient Descent）小结

kezhang_30
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tensorflow系列专题（四）：神经网络篇之前馈神经网络综述
TensorFlowNews
11-01 4032
目录： 神经网络前言 神经网络 感知机模型 多层神经网络 激活函数 Logistic函数 Tanh函数 ReLu函数 损失函数和输出单元 损失函数的选择 均方误差损失函数 交叉熵损失函数 输出单元的选择 线性单元 Sigmoid单元 Softmax单元 参考文献     &nb...
NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题
Guo_weiqi的博客
10-07 345
NNDL 实验五 前馈神经网络（2）自动梯度计算&优化问题
深度学习之卷积神经网络.pptx
12-04
深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习代表算法之一。ppt是概括了传统的经典神经网络和卷积神经网络，希望对有ppt讲解需求的人有帮助。
神经网络与深度学习课程练习代码，含线性回归模型、前馈神经网络、卷积神经网络、循环神经网络、注意力机制、高斯混合模型、深度强化学习
最新发布
03-06
1. 热身练习 warmup numpy是Python中对于矩阵处理很实用的工具包，本小节作业主要是熟悉基本的numpy操作。 2. 线性回归模型 Linear Regression 3. 线性模型 支持向量机 support vector machine Softmax回归 Softmax Regression 4. 前馈神经网络 Simple Neural Network 利用numpy实现全连接神经网络 5. 卷积神经网络 Convolutional Neural Network (CNN) 利用卷积神经网络，处理MNIST 数据集分类问题。 6. 循环神经网络 Recurrent Neural Network (RNN) 基于循环神经网络的唐诗生成问题 7. 注意力机制 Attention Mechanism 使用sequence to sequence 模型将一个字符串序列逆置。 使用attentive sequence to sequence 模型将一个字符串序列逆置。 11. 高斯混合模型 Gaussian Mixture
matlab信任模型代码-dTrust:社交推荐系统中用于评级预测的深度学习
05-22
matlab信任模型代码基于社交的推荐网络中的项目评分预测 在这项研究中，我们的目标是在给定两个训练数据集的情况下，预测用户对某项产品的评分。 评分数据集。 信任数据集。 我们证明，简单的深层前馈神经网络[1]可以很好地预测评分，比文献中其他复杂的现有模型要好。 数据集 评分数据集 作为一组元组给出： (u,i,t,r) 其中： u：赋予商品价格的用户ID i：商品ID t：费率的时间戳记 r：评分得分，从1到5 信任数据集 作为一组元组给出： (u1,u2,t,v) 其中： u1：委托人ID u2：受托人ID u3：声明关系时的时间戳 v：价值（信任/不信任） 组合数据集 想法是将评级和信任数据集结合起来，考虑到信任关系是一个用户到另一个用户的5级评级。 训练与预测 您应该安装。 目前，神经网络是由构建的，但我计划更新代码以与之一起运行。 但是，没有具体的路线图。 install.packages ("h2o") # will take a while, be patient. # h2o requires JDK, please install JDK first
真棒免费的深度学习论文
03-04
真棒免费的深度学习论文 调查回顾 深度学习（2015），Yann LeCun，Yoshua Bengio和Geoffrey Hinton :sparkles: 神经网络中的深度学习：概述（2015），J。Schmidhuber :sparkles: 代表性学习：回顾与新观点（2013年），Y。Bengio等。 :sparkles: 理论未来 在神经网络中提取知识（2015年），G。Hinton等人。 深度神经网络很容易被愚弄：无法识别图像的高置信度预测（2015年），A。Nguyen等。 深度神经网络中的特征可传递性如何？ （2014），J。Yosinski等。 （Bengio） 为什么E.Erhan等人（无监督的预训练）有助于深度学习（2010年）。 （Bengio） 了解训练深度前馈神经网络的难度（2010年），X。Glorot和Y. Bengio 优化正则化 B.Shahriari等人（2016年）：贝叶斯优化
最优化理论实践——神经网络训练
01-07
无约束优化实践 训练一个神经网络 优化理论实践 用了一周的时间学习了一下最优化理论这门课，为了更深度地理解各种优化方法的理念和算法过程，自己把这些算法应用到实践中是很必要的。为此我设计了和优化算法相关的四个实验项目，在这里和大家分享一下。 无约束优化方法 前馈神经网络 根据链式法则，从输出层直接对误差函数求导得到的误差(这里我们简写为δ)，就可以通过和上面的这些局部导数不断做乘积、并把新的δ传播到上一层，就能计算得到所有参数的导数。通过一阶导数，就能实现基本的梯度优化方法。 训练方法 神经网络可以很好地处理函数拟合问题，因为模型带有大量可调节的参数，而且内置了非线性的激励函数，这
神经网络与深度学习（五）前馈神经网络（2）自动梯度计算和优化问题
weixin_53651790的博客
10-06 1574
利用pytorch进行前馈神经网络中的自动梯度计算和优化问题学习
前馈神经网络实验(er)
qq_52551768的博客
10-06 651
前馈神经网络—自动梯度计算和预定义算子
人工神经网络基础——前馈神经网络
gary101818的博客
12-09 5453
什么是人工神经网络？ 人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络 如下图所示，人工神经网络是一个仿
【深度学习笔记】4.前馈神经网络
turkeym4的博客
11-24 1187
前馈神经网络 发展历程 神经元（M-P） 神经元是1943年由两名科学家首次提出的神经元模型。 在M-P模型中，神经元接受其他n个神经元的输入信号(0或1)，这些输入信号经过权重加权并求和，将求和结果与阈值(threshold) θ 比较，然后经过激活函数处理，得到神经元的输出。 y=∑i=1nωijxi+θ y=\sum^n_{i=1}\omega_{ij}x_i+\theta y=i=1∑n​ωij​xi​+θ M-P 模型可以表示多种逻辑运算，如取反运算、逻辑或、逻辑与。 取反运算可以用单输入单
前馈神经网络开山鼻祖---一些概念
weixin_33674976的博客
03-03 461
监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等）； 如果预测的变量是连续的，我们称其为回归。 反向传播算法(back propagation algorithm, BP-algorithm)是深度学习的最重要的两大基石(另一个是梯度下降算法),几乎所有的深度学习算法底层都会调用BP算法,其本质就是对链式求导法...
花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）
今天你学习了吗
11-24 8983
目录 0. 前言 1. 每一个神经元的组成 2. 梯度下降改善线性参数 3. 非线性激活函数 4. 输出单元 4.1. 线性单元 4.2. sigmoid 单元 4.3. softmax 单元 5. 神经网络宽度和深度的选择 6. 前向传播和反向传播 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（一）前馈神经网络（多层感知...
15分钟全面认识前馈神经网络
qq_43346513的博客
11-28 1850
神经网络的历史 神经网络起源于 Warren McCulloch 和 Walter Pitts，他们 于 1943 年首次建立的神经网络模型。他们的模型完全基于数学和算法，但由于缺乏计算资源，模型无法测试。后来，在 1958 年，Frank Rosenblatt 创建了第一个可以进行模式识别的模型，改变了现状，即感知机。感知机不仅是神经网络的基础，也是支持向量机的基础，它主要用于解决分类问...
神经网络（四）前馈神经网络
就随便写写....
08-20 4752
前馈神经网络的模型，原理，和基础优化（包括自动微分和反向传播）
前馈神经网络模型-误差逆向传播算法
acsunqi的博客
07-15 3173
BP算法的核心步骤 1. 求得在特定输入下实际输出与理想输出的平方误差函数。 2. 利用误差函数对神经网络中的阈值以及连接权值根据导数的“链式求导”法则对各种变量求导。 3. 根据梯度下降算法，对极小值进行逼近，当满足条件时，跳出循环　由于对单个样本来说可以不断更新权值阈值，无限逼近期望值：标准BP算法，计算量大，对于不同样本训练后可能会使得前一个效果变坏。 　对多个样本来说。误差函数是单个
Deep Learning学习笔记(2)——前馈神经网络
Amy的专栏
01-31 375
读《神经网络与深度学习》一书，随笔。 上篇提到前馈神经网络，那么针对多层的网络，如何求解隐层的权值呢？Hiton提出了BP算法，其核心思想是信号正向传播和误差反向传播，将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权值的依据。 1. BP算法的问题 5层以内的神经网络，可以用BP算法训练，5层以上的神经网络用BP算法训练就很不理想。具体地，BP算法存在如下问题： （1）梯度越来越稀疏：从顶层往下，误差校正信号越来越小； （2）收敛到局部最小值。主要原因是，深度结构
读书笔记--神经网络与深度学习（三）前馈神经网络
tianyouououou的博客
07-09 1700
4 前馈神经网络 从机器学习的角度看，神经网络一般可以看做是一个非线性模型。 4.1 神经元 净输入z 在经过一个非线性函数f(·)后，得到神经元的活性值（Activation）a，a = f(z), 其中非线性函数f(·)称为激活函数（Activation Function）。 激活函数 激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质： 连续并可导...
深度学习神经网络有几种
05-15
深度学习神经网络有很多种，以下是一些常见的神经网络类型： 1. 前馈神经网络（Feedforward Neural Networks）：最简单的神经网络类型，通常包括输入层、隐藏层和输出层。 2. 卷积神经网络（Convolutional Neural Networks）：主要用于图像和视频处理，通过卷积操作提取图像特征。 3. 循环神经网络（Recurrent Neural Networks）：主要用于序列数据处理，如语音识别、自然语言处理等。 4. 残差神经网络（Residual Neural Networks）：通过引入跨层连接（shortcut connections）来解决深层网络训练中的梯度消失问题。 5. 自编码器（Autoencoder）：通过学习数据的压缩表示和重构来实现数据集的无监督学习。 6. 生成对抗网络（Generative Adversarial Networks）：包含生成器和判别器两个部分，通过对抗训练的方式生成逼真的新样本。 这些神经网络类型都有各自的特点和应用场景，可以根据具体需求选择合适的网络结构。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值