为什么要使用激活函数,激活函数的作用

最新推荐文章于 2024-08-09 17:20:48 发布
最新推荐文章于 2024-08-09 17:20:48 发布
阅读量2.2w 收藏 145
点赞数 44
分类专栏： 深度学习相关文献和理论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35290785/article/details/89349635
版权
激活函数是神经网络中的关键组件，它引入非线性以增强模型的表达能力。没有激活函数，多层网络的叠加将无法产生有意义的非线性变换。Sigmoid、tanh和ReLU是常见的激活函数。Sigmoid和tanh面临梯度消失问题，且计算成本较高，而ReLU解决了部分问题，但可能存在死ReLU问题。选择合适的激活函数对于网络的训练和性能至关重要。
摘要由CSDN通过智能技术生成

目录

1.如果没有激活函数会怎么样？

2.所以需要对线性输出做非线变换

激活函数的作用:激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。

3.常见的激活函数 

3.1.Sigmoid函数

3.2.tanh函数

3.3.Relu函数

 总结：

1.如果没有激活函数会怎么样？

1. 对于y=ax+b 这样的函数，当x的输入很大时，y的输出也是无限大小的，经过多层网络叠加后，值更加膨胀的没边了，这显然不符合我们的预期，很多情况下我们希望的输出是一个概率

2. 线性的表达能力太有限了，即使经过多层网络的叠加，y=ax+b无论叠加多少层最后仍然是线性的，增加网络的深度根本没有意义。线性回归连下面这个最简单的“异或”x1 XOR x2，都无法拟合：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
贾世林jiashilin
关注
专栏目录
订阅专栏
为什么要使用非线性函数作为激活函数？
weixin_44808274的博客
09-07 1292
一些非线性激活函数，如ReLU（修正线性单元），具有稀疏性质，即对于输入中的某些神经元，激活为零，从而促使网络学习到更具鲁棒性的特征表示。每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。使用非线性激活函数，特别是具有一定深度的神经网络，具备了逼近任意复杂函数的能力。在神经网络中，使用非线性函数作为激活函数是非常重要的，因为它们赋予了神经网络表示和学习更复杂、更强大的能力。在深层神经网络中，梯度传播是训练过程的关键，
为什么采用激活函数
qq_42256930的博客
09-07 371
为什么要使用sigmoid，tanh，ReLU等非线性函数？ 这个原因大家都知道，为了增加非线性呗！ 深度学习的目的是用一堆神经元堆出一个函数大致的样子，然后通过大量的数据去反向拟合出这个函数的各个参数，最终勾勒出函数的完整形状。 那如果激活函数只是线性函数，那一层层的线性函数堆起来还是线性的，这年头线性函数能干啥呀？ 肯定不行，这样整个网络表现能力有限，所以要引入非线性的激活函数进来。 那为什么用ReLU呢？ 我们先看ReLU和他的老对手sigmoid长什么样： ReLU函数： Sigmoid函数：
常用API的介绍和基本使用
最新发布
weixin_60564529的博客
08-09 1142
什么是API​ API (Application Programming Interface) ：应用程序编程接口java中的API​ 指的就是 JDK 中提供的各种功能的 Java类，这些类将底层的实现封装了起来，我们不需要关心这些类是如何实现的，只需要学习这些类如何使用即可，我们可以通过帮助文档来学习这些API如何使用。打开帮助文档找到索引选项卡中的输入框在输入框中输入Random看类在哪个包下看类的描述看构造方法看成员方法。
深度学习-为什么用激活函数
Harry的博客
04-12 3154
激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题 首先我们有这个需求，就是二分类问题，如我要将下面的三角形和圆形点进行正确的分类，如下图： 利用我们单层的感知机, 用它可以划出一条线, 把平面分割开： 上图直线是由w1x1+w2x2+b=0w_1x_1+w_2x_2+b=0w1​x1​+w2​x2​+b=0得到，那么该感知器实现预测的功能步骤如下，就是我已经训练好了一个感知器模型，...
为啥要用激活函数
仓小小鼠
05-13 230
为啥要用激活函数 （PS：这里为经常会产生误解为啥非得用激活函数，希望再出现问题时候看看这文章能不迷茫） 在深度学习和机器学习中主要有两大类的问题 1.分类问题（0,1）2.回归问题（一组连续值） 加入不采用激活函数，那么只能处理一下简单的线性问题，例如采用一条直线去分解一个分类问题，但是线性分类问题只能分解可分问题，有些数据例如月牙形的数据分布，以及圆环形的数据分布，只是采用简单的数据分布却不是那么容易，因此采用激活函数能使得函数处理非线性问题。 常用的激活函数： sigmoid函数： ReLu函数
为什么需要激活函数？
我是菜鸡
11-12 1525
在整理笔记。 为什么需要激活函数呢？ 用下边这个神经网络分析一下： 对于上图： 我们知道其中X4×1H5×1O7×1X^{4 \times 1} \quad H^{5 \times 1} \quad O^{7 \times 1}X4×1H5×1O7×1 其中各层之间的计算： H=W1x+b1其矩阵是：[H]5×1=[w1]5×4[x]4×1+[b1]5×1O=W2H+b2其矩阵是：[O]3×1=[w2]3×5[H]5×1+[b2]3×1 \begin{array}{ll} H=W_{1} x+b_{1}
为什么要引入激活函数？
mark_to_win的专栏
09-05 347
马克-to-win @ 马克java社区：防盗版实名手机尾号：73203。根据上面的学习，我们已经知道，当我们接到客户的需求，让我们做识别，判断或者预测时，我们需要最终交付给客户我们的神经网络模型。其实我们千辛万苦训练出来的神经网络模型，就是从输入到输出的一个神秘未知函数映射。在大多数情况下，我们并不知道这个真正的函数是什么，我们只是尽量去拟合它。马克-to-win @ 马克java社区：前面给出...
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
关于激活函数
01-07
1.为什么要使用激活函数 因为线性函数能拟合的模型太少，多层线性神经网络的叠加仍为线性，加上非线性可以改善拟合效果。 2.激活函数的要求 非线性，可微（反向传播）。 3.常用的激活函数 Sigmoid 能够把输入的连续...
激活函数_ancientzyb_神经网络激活函数代码_
10-03
在使用这些代码时，可以尝试在不同的神经网络架构和数据集上进行实验，观察不同激活函数的表现，这将有助于你选择最合适的激活函数，优化模型性能。此外，这些代码也可以作为教学资源，帮助初学者更好地理解神经网络...
激活函数的作用
qq_27791353的博客
12-04 8721
激活函数 激活函数（Activation Function）负责对上层神经元的输出进行处理，将结果传递到下层神经元。激活函数在神经网络里起着至关重要的作用，具体如下。 我们先看这个不使用激活函数的例子： 这是两层网络，有俩神经元。 （一个体重90多公斤，一个体重80多公斤，塔门说，你这激活函数不讲武德。） 它们的权重矩阵和偏置参数分别是W1,b1W_{1},b_{1}W1​,b1​和W2,b2W_{2},b_{2}W2​,b2​，设输入向量为x\boldsymbol{x}x,输出为y^\hat{y}
激活函数
热门推荐
木木雨的博客
03-18 2万+
激活函数的作用神经网络为什么要使用激活函数？
激活函数的作用是什么
wechatabc的博客
11-21 890
激活函数的作用 ##一.激活函数出现的原因 思考这么一个问题： 现在有一个二分类问题，我们要将下面的三角形和圆点进行正确的分类，如图1所示。我们试着用神经网络解决这个问题。跟大家说明一下，这是一个线性不可分的问题，就是你在这个平面里，找不到一条直线可以把图中的三角形和圆点完全分开。如果你能找到，算你厉害！ 二、激活函数作用 我们再设计一个神经网络，在所有的隐层和输出层加一个激活函数，这里激活函数我们就用Sigmoid函数，如图6所示。这样y输出的就是一个非线性函数了，y的输出更复杂，有了这样的非线性激活函
什么是激活函数？为什么要使用激活函数？
Skey_He
09-02 830
如果没有relu等激活函数(也叫非线性)，Dense层将只包含两个线性运算——点积和加法: output = dot(W,input) + b 这样Dense层就只能学习输入数据的线性变换(仿射变换):该层的假设空间是从输入数据到16位空间所有可能的线性变换集合。这种假设空间非常有限，无法利用多个表示层的优势，因为多个线性层堆叠实现的仍是线性运算，添加层数并不会扩展假设空间。 为了得到更丰富的假设空间，从而充分利用多层表示的优势，你需要添加非线性或激活函数。relu是深度学习中最常用的激...
激活函数详解/为什么要用激活函数
SimonChen
06-11 1093
Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax -用于多分类神经网络输出 Linear - 用于回归神经网络输出（或二分类问题）
深度学习中的激活函数
wuxiaosi808的博客
09-26 4894
圈 摘要: 正如我们的人脑一样，在一个层次上和神经元网络中有数百万个神经元，这些神经元通过一种称之为synapses（突触）的结构彼此紧紧相连。它可以通过 Axons（轴突），将电信号从一个层传递到另一个层。这就是我们人类学习 ... 网络 模型 机器学习 神经网络 网络技术 函数 什么是人工神经网络？ 现在，我相信我们大家都很熟悉什么是A-NN了，但接下来请允许我按
为什么要使用激活函数？
04-18
激活函数是用来引入非线性因素的，能够增强神经网络的表达能力。在神经网络中，每一层的输出都需要经过一个转换函数，以将输入编码为更高维的表示。如果没有激活函数，每一层的输出就只是输入的线性组合，多层神经网络也不能解决非线性的问题。因此，激活函数是神经网络的重要组成部分，可以增强神经网络的非线性区分能力。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾世林jiashilin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值