神经网络与深度学习——浅层神经网络——激活函数,为什么需要非线性激活函数

最新推荐文章于 2022-01-27 20:55:10 发布
最新推荐文章于 2022-01-27 20:55:10 发布
阅读量420 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kazuhura/article/details/107889840
版权

到目前为止，我们用的激活函数全都是Sigmoid函数（就是中的），接下来介绍其他函数
在这里插入图片描述
在这里插入图片描述

  1. tanh函数：函数值在[-1,1]之间，一般情况下都比Sigmoid函数效果要好，有类似数据中心化的效果

  2. Sigmoid函数几乎不再使用，除非最后输出的时候，毕竟它的函数值是在[0,1]之间的

  3. ReLU函数：上面两个函数在函数值比较大的时候导数变化很小，这会拖累梯度下降法，而ReLU只要z为正，导数就是1，在z=0的时候可以自己声明导数值

  4. 带泄露ReLU：z为负时让它有一个小小的坡度改善ReLU导数为负的情况，在z=0的时候可以自己声明导数值，一般不常用

在二元分类的时候可以输出层用Sigmoid，隐藏层用ReLU，如果不确定隐藏层用什么函数，就用ReLU

在实践过程中通常需要先跑跑试试

——————————————————————————————————————

上节说的四个函数都是对线性出来的结果进行非线性运算，为什么非得需要这么一步计算呢

原因：经过推导可以发现如果只是线性运算，那再多层的网络也都是线性运算，多层网络就没什么用了，多层网络才能解决更复杂的问题

其他用线性运算的特殊情况：回归问题等

和瑚
关注
专栏目录
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
神经网络为什么需要非线性激活函数
AItrust的博客
04-01 1953
刚开始接触深度学习的小伙伴一定会有一个疑问：我们为什么需要设置激活函数呢？为什么这个激活函数需要是非线性的呢？ 本文会就这个问题做一些探讨！ 首先来看一个最简单的神经网络： x$_1$圆A圆角长方形菱形 Γ(z)=∫0∞tz−1e−tdt .d \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. d Γ(z)=∫0∞​tz−1e−tdt.d ...
神经网络的激活函数为什么必须使用非线性函数
Michael Hsu
01-26 5257
神经网络的激活函数必须使用非线性函数。换句话说,激活函数不能使 用线性函数。为什么不能使用线性函数呢?因为使用线性函数的话,加深神 经网络的层数就没有意义了。 线性函数的问题在于,不管如何加深层数,总是存在与之等效的“无 隐 藏 层 的 神 经 网 络”。为 了 具 体 地(稍 微 直 观 地)理 解 这 一 点,我 们 来 思 考 下 面 这 个 简 单 的 例 子。这 里 我 们 考 虑 把...
【吴恩达深度学习】【神经网络和深度学习】 第三章 第七节 我们为什么需要非线性激活函数？
cx0627year的博客
12-05 400
一、为什么不能用非线性函数 假如我们的神经网络的所有激活函数都是线性的函数，我们不妨想这么一个问题 既然两个线性的函数是可以复合的，所以一个只由线性函数构成的神经网络的所有函数能不能复合成一个函数呢？ 显然是可以的，线性函数直接是可以自己复合成一个新的线性函数的，因此，我们如果只采用线性函数，就会发现一个有趣的结论： 一个神经网络可以退化成一个独立的神经元 这个结论来源于线性函数的复...
为什么需要非线性激活函数
weixin_30894583的博客
08-29 98
这是神经网络正向传播方程，为什么不能直接使a[1] = z[1] ,a[2] = z[2],即 g ( z ) = z 这是因为他们直接把输入值输出了 为了说明问题，若a[2] = z[2 这个模型的输出y或y帽不过是你输入特征x的线性组合 a[1] = z[1] = w[1]x + b[1] a[2] = z[2] = w[2]x + b[2] 带入a[1]的定义...
吴恩达深度学习 —— 3.7 为什么需要非线性激活函数
然后就去远行
11-27 1548
事实证明，要让神经网络能够计算出有趣的函数，必须使用非线性激活函数。 如下图所示是神经网络正向传播的方程，为什么不能直接去掉a[1]=g[1](z[1])a^{[1]}=g^{[1]}(z^{[1]})a[1]=g[1](z[1])呢？去掉函数g(z)g(z)g(z)，然后令a[1]=z[1]a^{[1]}=z^{[1]}a[1]=z[1]，或者令g[1]=z[1]g^{[1]}=z^{[1]}g...
神经网络与深度学习——基于MATLAB的仿真与实现.docx
最新发布
09-13
神经网络与深度学习——基于 MATLAB 的仿真与实现 神经网络是一种模拟生物神经系统的计算模型，由多个神经元相互连接而成，每个神经元都可以接收输入信号并产生输出信号。神经网络的目标是通过调整神经元之间的连接...
思维进化算法优化BP神经网络——非线性函数拟合.zip
01-14
《思维进化算法优化BP神经网络——非线性函数拟合》是关于利用MATLAB进行神经网络建模和优化的一个专题研究。在这个项目中，重点探讨了如何应用思维进化算法（Evolutionary Programming, EP）来改进传统的反向传播...
BP神经网络的非线性系统建模——非线性函数拟合.7z
07-03
BP神经网络，全称为Backpropagation Neural Network，是人工神经网络的一种典型模型，尤其适用于非线性函数拟合和复杂关系的学习。它通过反向传播算法来调整权重和阈值，以最小化预测输出与实际目标之间的误差，从而...
BP神经网络的非线性系统建模_非线性函数拟合_matlab
04-04
资源名：BP神经网络的非线性系统建模_非线性函数拟合_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合人群...
PyTorch深度学习入门笔记（十二）神经网络-非线性激活
一名FPGA芯片设计爱好者的技术博客
01-27 1886
课程学习笔记，课程链接 学习笔记同步发布在我的个人网站上，欢迎来访查看。 一、非线性激活常用函数介绍 非线性激活的目的是为了给我们的神经网络引入一些非线性的特质。 依然是打开官方文档： 比较常用的函数是 nn.ReLu: 1.1 ReLU 对应的函数图是： 参数：inplace=True时，会修改 input 为非线性激活后的结果；inplace=False时，则不会修改 input ，input仍然为原值。 示例代码： import torch from torch import nn from
机器学习-神经网络为什么需要非线性(激活函数)
weixin_45751409的博客
11-20 1万+
引言 在学习机器学习的时候，我就一直有着一个疑惑。为什么神经网络需要激活函数（Activation Function）？可能有的人会说，引入激活函数是为了给网络引进非线性。但是有没有仔细思考过，引入非线性的原因呢，下面我简单谈谈自己的看法（纯属个人胡说，有不同见解评论区见） 什么是激活函数 简单地说，激活函数是添加到人工神经网络中的一个函数，目的是帮助网络学习数据中的复杂模式。与我们大脑中基于神经元的模型相比，激活函数最终决定向下一个神经元的连接情况。这正是激活函数在ANN中的作用。它接收上一个单元的输
神经网络的激活函数为什么要使用非线性函数？
qq_34152244的博客
09-08 9508
有人说这曾经是一道面试题！ 我没说过这句话，但是感觉挺有道理 — 鲁迅 ▍什么是激活函数 在神经元中，输入的inputs通过加权求和，然后被作用了一个函数，这个函数就是激活函数 Activation Function。激活函数在神经网络中的位置如图所示： ▍为什么要用非线性函数 要解释这个问题，可以反过来思考一下，为什么激活函数不能使用线性函数。 如果使用线性函数，每一层输出都是上层输入的...
为什么要用非线性的激活函数
闲逸的炫鹰
10-10 4158
如果用线性的激励函数，其实输出就是输入乘上一个大的矩阵，就没有体现出隐层的作用。 非线性变换是深度学习有效的原因之一，现实中很多问题是不能用线性解决的，所以要用非线性方程来将问题转化成更方便的解决方案。 常用的激活函数有： sigmiod relu tanh ...
深度学习笔记（7）：几种常见的激活函数介绍，以及为什么必须要使用非线性函数作为激活函数
weixin_43197820的博客
04-10 3101
当前主流的激活函数主要有四种 ReLU 线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。 很显然，在正区域内，斜率为1，在负区域内，斜率为0，在零处，（发生概率极小），自行定义即可。 提出ReLU那篇论文，我记得是在11年发表的，号...
神经网络中为什么引入非线性激活函数？
sunshineTHU的博客
06-03 7785
如果不用激活函数（其实相当于激活函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激活函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者...
神经网络中非线性激活函数相关解析
博观而约取，深研而广求
08-25 5322
引入非线性激活函数的作用引入非线性激活函数的主要目的是增加神经网络的非线性性。因为如果没有非线性激活函数的话，每一层输出都是上层输入的线性函数，因此，无论神经网络有多少层，得到的输出都是线性函数，这就是原始的感知机模型，这种线性性不利于发挥神经网络的优势。非线性激活函数的类别非线性函数在历史的长河中有多种，主要讲以下两类:有界激活函数有界激活函数用得相对较多的是sigmoid函数和tanh(双曲正切
神经网络，深度学习，为什么要用激活函数？？？？？
热门推荐
三眼二郎
07-03 1万+
1.先抛开什么神经，深度之类的不好理解的东西。 回想一下，我们是要用这个东西干什么？ 答案很简单，有两种问题————对应两种模型 模型分类：回归模型和分类模型 回归模型：预测连续值，是多少的问题。北京房价是多少？食堂阿姨给我盛饭是多少？ 分类模型：预测离散值，是不是的问题。这个背影是不是帅哥？这个人是不是喜欢我？ 1++ 激活函数在深度学习中是用来干什么的？ 先说下卷积层，学深度...
神经网络为什么需要激活函数
weixin_43815136的博客
12-24 2126
参考文档：深度学习花书 转载请说明来源 神经网络为什么需要激活函数 激活函数也叫非线性函数，用于对数据进行非线性变换。目前主要的激活函数有整流线性单元（Relu）、sigmoid激活函数、双曲正切激活函数（tanh）等，目前神经网络主要用的是relu（整流线性单元），在引入整流线性单元之前，大多数神经网络都使用sigmoid函数作为激活函数，sigmoid函数作作为输入单元的激活函数用来预测二值型...
深度学习入门：前馈神经网络原理与激活函数
前馈神经网络是深度学习的基础，通过非线性激活函数和反向传播机制，它能够学习并解决复杂的数据模式识别和预测任务。随着技术的发展，前馈神经网络已经演变为更复杂的结构，如卷积神经网络（CNN）和循环神经网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值