几种常见激活函数(笔记整理)

最新推荐文章于 2024-04-28 09:34:03 发布
最新推荐文章于 2024-04-28 09:34:03 发布
阅读量3.9w 收藏 98
点赞数 11
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010513327/article/details/81019522
版权
激活函数在神经网络中引入非线性，如Sigmoid、Tanh、ReLU、Leaky ReLU、ELU和Swish等。Sigmoid和Tanh存在梯度消失问题，ReLU因其简单和快速收敛成为常用选择，但也存在Dead ReLU问题。Swish和GLU等新型函数尝试改进这些问题，提高网络性能。
摘要由CSDN通过智能技术生成

激活函数是神经网络中非线性的来源，因为如果去掉这些函数，那么整个网络就只剩下线性运算，线性运算的复合还是线性运算的，最终的效果只相当于单层的线性模型.

(1)Sigmoid函数

左端趋近于0，右端趋近于1，且两端都趋于饱和.

关于函数饱和解释:参考https://www.cnblogs.com/tangjicheng/p/9323389.html

这里写图片描述

如果我们初始化神经网络的权值为 [0,1] 之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将变得非常小接近于0，即出现梯度消失现象；当网络权值初始化为 (1

最低0.47元/天 解锁文章
TWLS
关注
专栏目录
动手学深度学习V2.0(Pytorch)——10.感知机（激活函数）
啷个哩个啷
10-09 404
https://www.bilibili.com/video/BV1hh411U7gn 1. 感知机 本部分内容大部分来自perceptron的Wikipedia：https://en.wikipedia.org/wiki/Perceptron 但是最重要的地方是：整理和讲解清楚!!! 感谢李沐老师！ 早年的感知机，Wikipedia上的图，一个权重就是用一根电线。。。。所以是个占地体积非常庞大的模型。 感知机是人工智能最早的模型 对于给定输入x\textbf xx，x\textbf xx是一个向量，
常用的激活函数（Sigmoid、Tanh、ReLU等）
热门推荐
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
激活函数整理
m_buddy的博客
06-21 1457
1. 前言 这里主要首先要说下为什么在深度学习网络中需要加入激活函数？因为激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分了，而且线性运算的组合叠加也是线性的，最后得到的结果模型也当然可以等价于单层的线性模型了，也为了能够适用于复杂的情况，所以需要在网络中引入非线性单元。 那么说到了激活函数那么就先从常见的sigmoid开始谈起吧。 2. sigmoid函数 首先，来...
常见的激活函数
cyy2learn的博客
03-01 1255
什么是激活函数   在神经网络中，我们经常可以看到对于某一个隐藏层的节点，该节点的激活值计算一般分为两步：   （1）输入该节点的值为x1,x2x1,x2时，在进入这个隐藏节点后，会先进行一个线性变换，计算出值z[1]=w1x1+w2x2+b[1]=W[1]x+b[1]z[1]=w1x1+w2x2+b[1]=W[1]x+b[1]，上标11表示第11层隐藏层。   （2）再进行一...
常用的激活函数
weixin_50644076的博客
02-28 1890
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
常见激活函数
Kaiyin
02-01 193
欢迎加入：人工智能学习圈
美！最常用的10个激活函数！
Oner.wv的专栏
07-26 2113
作者丨SukanyaBag 编译 | 机器之心在reddit上刷到一张非常形象mó xìng的图。那就让我们来整理一下深度学习中离不开的激活函数！激活函数（Activation ...
激活函数总结
weixin_49717022的博客
07-17 2240
一、引入激活函数的目的 图1：带一层隐藏层的神经网络 先看一个只含一层隐藏层的神经网络，如图1所示。输入为 n 条样本X，隐藏层H的权重和偏置分别为W_h，b_o，输出层O的权重和偏置分别为W_o，b_o。输出层的计算为： H=XW_h+b_h (1) O=HW_o+b_o (2) 将(1),(2)联合起来可得： O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o 从(3)可以看出，虽然加入了隐藏层，但是还是等效于单层的神经网络：权重为 W_hW_o ，偏置为 b_hW_o+b_
核函数和激活函数和异常检测和聚类（outlier detection）
小麦粒的Python
09-25 1980
有人说核函数与内积是等价的，我赞同这一观点。当我们将低维空间的数据映射到高维空间的时候，我们甚至不需要知道映射函数是什么，就算知道了又能怎么样，它只会给我们带来计算的复杂度。我们需要的是这种类型的核函数可以在低维空间中用怎样的形式表现出来，因为低维空间的表达式才是容易计算的。可以说，内积是核函数实现的一种技巧。没有内积，就没有核函数；没有核函数，也就体现不出内积的价值。
[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)
最新发布
日积月累，天道酬勤
04-28 862
看完本篇文章你就会深入理解BERT中用到的GELU激活函数。
【常用的激活函数】
雪丫头的博客
03-23 6478
一、什么是激活函数？ 在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function，又称激励函数，如下图所示： 二、激活函数的作用（为什么需要激活函数）？ 如果不用激励函数（其实相当于激励函数是f(x)=x)，在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机(Perceptron)了，那么网络的逼近能力就相当有限。正因为上
常用激活函数
qq_32172681的博客
08-04 922
1、sigmoid 优点：能够把输入的连续实值变换为0和1之间的输出，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。 缺点： （1）sigmoid函数的导数范围是(0,0.25]，导数最大都不大于1，容易引起梯度消失 （2）公式包含幂运算，导致方向传播运算速度慢 （3）Sigmoid函数输出不是零中心对称。sigmoid的输出均大于0，这就使得输出不是0均值，称...
常用的激活函数总结
qq_39068872的博客
09-01 288
激活函数名 表达式 导数表达式 sigmoid f(x)=11+e−x\frac{1}{1+e^-x}1+e−x1​ f’(x)=f(x)(1-f(x)) Tanh f(x) = tanh(x) = ex−e−xex+e−x\frac{e^x-e^-x}{e^x+e^-x}ex+e−xex−e−x​ f’(x)=1-((fx))2((fx))^2((fx))2 Relu f...
常用激活函数总结
水花的博客
03-23 1078
学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识
给出一个包含GLU激活函数的神经网络代码示例,用torch实现
03-11
以下是一个使用torch实现的包含GLU激活函数的神经网络代码示例： ```python import torch import torch.nn as nn class GLUNet(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(GLUNet, self).__init__() self.fc1 = nn.Linear(input_size, hidden_size) self.glu = nn.GLU(dim=1) self.fc2 = nn.Linear(hidden_size, output_size) def forward(self, x): x = self.fc1(x) x = self.glu(x) x = self.fc2(x) return x ``` 这个神经网络包含一个线性层和一个GLU激活函数层，其中GLU激活函数的维度为1。在前向传播过程中，输入数据首先通过线性层，然后通过GLU激活函数层，最后通过另一个线性层得到输出。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值