深度学习总结(二)——激活函数的介绍

最新推荐文章于 2024-05-22 01:30:00 发布
最新推荐文章于 2024-05-22 01:30:00 发布
阅读量846 收藏 2
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manong_wxd/article/details/78734780
版权
本文介绍了深度学习中常见的激活函数ReLU、Sigmoid和Tanh，包括各自的优缺点。ReLU因其简单高效而广泛使用，但存在神经元可能死亡的问题；Sigmoid和Tanh在数据压缩和输出范围上有特点，但易饱和导致梯度消失。RNN常选用Tanh以保持数据的正负性。在实际应用中，激活函数的选择应考虑模型的深度和数据特性。
摘要由CSDN通过智能技术生成

这里写图片描述

1. ReLU函数

用ReLU代替了传统的Tanh或者Logistic。

优点：

  1. ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作；
  2. ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；ReLU不容易发生梯度发散问题，Tanh和Logistic激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0；
  3. ReLU关闭了左边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。

缺点：

  1. 比如左边全部关了很容易导致某些隐藏节点永无翻身之日，所以后来又出现pReLU、random ReLU等改进；
  2. 而且ReLU会很容易改变数据的分布，因此ReLU后加Batch Normalization也是常用的改进的方法。

2. Sigmoid函数

优点：

  1. 输出范围有限，
最低0.47元/天 解锁文章
manong_wxd
关注
专栏目录
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 3158
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
1. 深度学习——激活函数
qq_32468785的博客
11-10 998
激活函数是一种用于神经网络和其他机器学习模型中的非线性函数。它被应用于神经网络的每个神经元上，将输入信号进行转换，产生输出信号。激活函数的作用是引入非线性性质，使神经网络能够学习和表示更复杂的函数关系。在神经网络中，每个神经元接收来自上一层神经元的加权输入，然后通过激活函数对这个加权输入进行非线性变换，生成神经元的输出。这个输出被传递到下一层神经元作为输入。激活函数的主要作用有以下几点：引入非线性：激活函数能够将线性变换后的输入转换为非线性输出，使得神经网络具备非线性建模能力。
深度学习基础（二）激活函数
u010554381的博客
03-11 1094
激活函数（也被称为激励函数）的意义就是加入非线性因素，使得神经网络具有非线性表达的能力。其必要条件是激活函数的输入和输出都是可微的，因为神经网络要求处处可微。(可微是指函数的各个方向可导，可微大于等于可导) 一、激活函数的定义与作用 1.定义。如下图所示，激活函数一般是在神经元的输入(inputs)经过加权求和之后，还继续被一个函数作用。该函数就是激活函数。 ...
【深度学习的数学】激活函数的作用是什么？
Dontla的博客
05-23 699
引用文章：神经网络激活函数的作用是什么？
二分类函数（机器学习）
公众号：风景邮递Yuan的博客
11-14 1858
推理时，我们预先设定一个阈值比如 0.5，则当推理结果大于 0.5 时，认为是正类；阈值也不一定就是 0.5，也可以是 0.65 等等，阈值越大，准确率越高，召回率越低；此函数实际上是一个概率计算，它把 (−∞,∞) 之间的任何数字都压缩到 (0,1) 之间，返回一个概率值。在二分类任务中，叫做Logistic函数，而在作为激活函数时，叫做Sigmoid函数。是任意阶可导的凸函数，有很好的数学性，许多数值优化算法都可以直接用于求取最优解。，就越接近标签值，那么误差越小，反向传播的力度就越小。
激活函数
sophicchen的专栏
12-09 1325
1. 激活函数 导数： 2.sigmoid函数 其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说，sigmoid把一个值映射到0-1之间。 该函数具有如下...
logistic挤压型激活函数（机器学习）
公众号：风景邮递Yuan的博客
11-12 1319
在二分类任务中最后一层使用的对率函数与在神经网络层与层之间连接的Sigmoid激活函数，是同样的形式。所以它既是激活函数，又是分类函数，是个特例。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区， 将非重点特征推向两侧区。一个是 Logistic 函数，另一个是Tanh 函数。的作用，所以叫挤压型激活函数，又可以叫饱和型激活函数。型的函数，在神经网络中，有两个常用的。其输出在两端是饱和的，都具有S。第一步：这一类函数的特点。
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
最新发布
走向CTO的路上...
05-22 1105
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 8939
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 25万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
三、深度学习基础4（激活函数2）
myani的博客
04-25 1022
如何选择激活函数 选择一个适合的激活函数并不容易，需要考虑很多因素，通常的做法是，如果不确定哪一个激活函数效果更好，可以把它们都试试，然后在验证集或者测试集上进行评价。然后看哪一种表现的更好，就去使用它。 以下是常见的选择情况： 1、如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。 2、如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu 的一个优点是：当是负值的时候，
机器学习：激活函数归类
xinfeng205的博客
04-01 179
Rectified Linear Unit(ReLU) 用于隐层神经元输出 Sigmoid用于隐层神经元输出 Softmax 用于多分类神经网络输出 Linear 用于回归神经网络输出（或二分类问题）
【Deel learning之一 】激活函数
pupilheart
11-05 196
玩深度学习第一步，首先是了解下激活函数 激活函数:说白了，就是深度学习计算过程中的阀门，如果阀门控制不好的话，所有的数据都是不存在的。 激活函数形式： 常用的激活函数有 relu、tanh、sigmoid、linear relu tanh sigmoid linear https://blog.csdn.net/zhuiyuanzhongjia/articl...
深度学习激活函数介绍——Sigmoid、tanh、ReLu系列、Maxout
u011092156的博客
07-09 2105
激活函数作为深度学习中引入非线性特征的重要工具，能够增加网络的表达能力，下面参考各位博主的文章，整理了常用的激活函数，留作复习备用。 （1）sigmoid函数 sigmoid（x） = 1/(1+exp(-x)) 最早使用的激活函数，将输入映射到0到1之间，现在基本没人使用。 输出均值非0，同时当输入x过大或过小时，容易出现过饱和现象，此时梯度趋近...
神经网络常见激活函数的偏导数
DAN_L的博客
06-07 1668
一、sigmoid的偏导数计算公式 g’(z)=a(1-a) 二、tanh的偏导数计算公式 g’(z)=1-a^2 三、relu的偏导数计算公式 g’(z)= 0(z<0),1(z>=0) 四、leaky relu的偏导数计算公式 g’(z)= 0.01(z<0),1(z>=0)
Relu及其延伸
郭云飞的专栏
09-30 4507
近年来，在深度学习中，ReLU 变的越来越受欢迎。它的数学表达式很简单：f(x)=max(0,x)。显然，输入信号0 的情况下，输出等于输入。二维情况下，使用ReLU之后的效果如下： ReLU 的优点： 收敛速度会比 sigmoid/tanh 快很多相比于 sigmoid/tanh，ReLU 只需要一个阈值就可以得到激活值，而不用去算一大堆复杂的运算。 ReLU 的缺
激活函数ReLU、Leaky ReLU、PReLU和RReLU
aizhouqian5537的博客
03-28 1万+
“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。 sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次，它能加快收敛速度。 Sigmoid函数需要一个实值输入压缩至[0,1]的范围 σ(x) = 1 /...
深度学习——激活函数ReLu、LReLu、PReLu原理解析
jmu201521121021的博客
01-29 1万+
深度学习——激活函数ReLu、LReLu、PReLu原理解析 简介 论文链接： https://arxiv.org/abs/1502.01852 由于项目需要，需要了解msra 权重初始化方法原理， 正好Kaiming 大神这篇论文提出了PReLu。本博客主要介绍PReLu。文中两个创新点是使用PReLu和msra初始化后，在I ImageNet 2012 classification dat...
几种常用激活函数的简介
kangyi411的博客
01-04 10万+
sigmod，tanh，relu，elu，prelu，leaky relu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值