常见的激活函数

最新推荐文章于 2024-06-18 15:30:22 发布
最新推荐文章于 2024-06-18 15:30:22 发布
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习与计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JRRRJ/article/details/81092854
版权

注：此文章为吴恩达教授的deeplearning.ai课程笔记，文中图片均来自课程ppt。

为什么要使用非线性激活函数：因为如果不使用非线性的激活函数，那神经网络将变为一个线性的函数，隐含层已经没有了存在的必要。

sigmoid

6769895-4b61a8fcc92e558b.png

sigmoid函数

 

函数的导数为:a(1-a)

tanh(hyper tangent function)

6769895-20f7b4c70a4cdd50.png

tanh函数

 

函数的导数为：1-a^2

Relu(rectified linear function)

6769895-75ab1332ad0bde86.png

Relu函数

 

 

导数为：

6769895-fc789399a39afd11.png

image.png

Leaky Relu（带泄露的Relu）

6769895-a0c0552066c12197.png

Leaky Relu

使用注意事项：

如果输出0或1，比方说是在做二分类，则可以使用sigmoid作为输出层的激活函数，但一般情况下tanh的表现都比sigmoid好，但是这两个函数都存在一个问题，就是当输入比较大或者比较小的时候，函数导数的梯度会变得很小，不利于梯度下降。所以常用的是Relu函数，但是Relu函数也有一个缺点：当输入为负的时候，函数的导数为0，也就是梯度为0，所以有了后面的带泄露的Relu

RJzz
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mxnet (4):隐藏层和激活函数
泛泛之素
09-22 4525
1. 线性模型问题 线性模型限制了特征和结果的单调关系，如果某些事实如模型一样就有具有单调性的话，那么这种线性模型是有效的，但是在一些情况输入和输出并不具有单调性。我们要根据体温预测死亡的可能性。对于体温高于37°C（98.6°F）的个人，较高的温度表示更大的风险。但是，对于体温低于37°C的个人，较高的温度表示较低的风险！在这种情况下，我们也可以通过一些巧妙的预处理解决问题。即，我们可以使用距37°C的距离作为特征。 2. 隐藏层 为了解决非线性的问题，引入了隐藏层。隐藏层的作用就如softmax运行时，
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
常见激活函数
Kaiyin
02-01 190
欢迎加入：人工智能学习圈
激活函数（Activation Function）
最新发布
2401_85378759的博客
06-18 1058
激活函数是一种用于神经网络和机器学习模型中的非线性函数。它被应用于神经元的输出，以引入非线性性质和复杂性。激活函数可以帮助模型学习非线性关系，并提高模型的表达能力。在神经网络的每一层都使用激活函数，将输入信号转换为输出信号。
常见的激活函数（Sigmoid，tanh双曲正切，ReLU修正线性单元，Leaky ReLU函数）
weixin_43918046的博客
07-29 4545
激活函数在神经元之间作为信息传递的隐射函数，是为了将我们神经元这样的线性模型进行非线性转换的重要存在，使得我们最终的神经网络模型才能够表达出强大的非线性数据拟合能力。 这里简单几种常见的激活函数。 一、Sigmoid函数 表达式为： 导函数为： sigmoid是神经网络中很入门的一种激活函数，在以前得到了广泛使用，但是随着后来的学习发展，发现sigmoid的收敛速度很慢，而且因为本身的表达式不能很好的将神经元之间的信息进行非线性隐射，所以在深层神经网络的隐层的各层神经元之间逐渐被ReLU取代，但是即便
常用的激活函数
weixin_50644076的博客
02-28 1604
激活函数（Activation Function）是一种添加到人工神经网络中的函数。其主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。
【常用的激活函数】
雪丫头的博客
03-23 6151
一、什么是激活函数？ 在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function，又称激励函数，如下图所示： 二、激活函数的作用（为什么需要激活函数）？ 如果不用激励函数（其实相当于激励函数是f(x)=x)，在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机(Perceptron)了，那么网络的逼近能力就相当有限。正因为上
DyReLU-master_动态激活函数_
10-04
Mish函数在许多基准任务上表现出优于ReLU和其他常见激活函数的性能。 然而，动态激活函数进一步扩展了这一思想，引入了时间或数据依赖的特性。动态激活函数可以根据输入数据的分布或网络的训练状态动态调整其行为。...
21种激活函数的对比
06-09
#### 常见激活函数及其特性 1. **Sigmoid函数** - **定义**：\( f(x) = \frac{1}{1 + e^{-x}} \) - **特点**：输出范围在(0,1)，可以将输入映射到概率值；梯度饱和问题导致训练过程中容易出现梯度消失现象。 - *...
深度激活函数中的tanh.zip
01-03
在神经网络中，激活函数是连接输入层与输出层的关键环节，它引入非线性，使得网络能够处理更复杂的模式。本主题将深入探讨一种常用的激活函数——双曲正切函数（Tanh），以及如何使用Verilog语言进行硬件实现。 ...
python 深度学习中的4种激活函数
09-24
本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用是将神经元的线性组合转换为非线性输出，这对于处理线性不可分的数据至关重要。例如，在图像B所示的复杂分类问题中，...
激活函数_ancientzyb_神经网络激活函数代码_
10-03
首先，我们来详细了解几种常见的激活函数： 1. **Sigmoid**：Sigmoid函数是一種连续、光滑且具有S形曲线的函数，它的输出值域在0到1之间。Sigmoid在早期的二分类问题中广泛使用，但由于其梯度消失问题，现在更多地...
机器学习各种激活函数比较
02-18
#### 常见的激活函数及其特性 - **Sigmoid** - **定义**：\(f(x) = \frac{1}{1 + e^{-x}}\) - **特点**：Sigmoid 函数将输入映射到 \(0\) 和 \(1\) 之间，常用于二分类问题。 - **优点**：输出值介于 \(0\) 和 \...
Pytorch中的激活函数
01-20
下面我们将详细讨论几种常见的激活函数及其在PyTorch中的实现。 首先，Sigmoid函数是最经典的激活函数之一，它通过公式g(z) = 1 / (1 + e^(-z))将输入z映射到(0, 1)的范围内。Sigmoid函数的导数g'(z) = a (1 - a)，...
深度学习不同激活函数之间的比较
06-21
接下来，我们将详细介绍几种常见的激活函数，并对它们的特点进行比较。 **3.1 Sigmoid 函数** - **定义**：Sigmoid 函数是最古老的激活函数之一，其数学形式为 \( \sigma(x) = \frac{1}{1 + e^{-x}} \)。 - **特点...
神经网络中各种激活函数的Python实现
11-22
这里我们将深入探讨几个常见的激活函数，包括ReLU、sigmoid、swish以及mish，并了解它们在实际应用中的优缺点。 首先，ReLU（Rectified Linear Unit）是最常用的激活函数之一，它的公式为f(x) = max(0, x)。ReLU在x...
盘点那些常用的激活函数
weixin_46668520的博客
11-16 162
激活函数是神经网络中非常重要的组成部分，它们引入了非线性性质，使得神经网络可以学习和表示更加复杂的函数关系。在深度学习中，激活函数通常被应用于神经网络的隐藏层和输出层。pytorch中已经内置了相关的函数。
深度学习中常见的10种激活函数（Activation Function）总结
不想学习的打工人的博客
08-30 3万+
​ 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。 ​
常用的激活函数合集（详细版）
热门推荐
caip12999203000的博客
09-27 3万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
绘制5种常见激活函数的图：Sigmoid 激活函数、tanh 激活函数、ReLU 激活函数、Leaky ReLU激活函数、ELU激活函数使用python实现
08-02
以下是使用Python绘制5种常见激活函数的图的代码： ```python import numpy as np import matplotlib.pyplot as plt # Sigmoid 激活函数 def sigmoid(x): return 1 / (1 + np.exp(-x)) # tanh 激活函数 def tanh(x): return np.tanh(x) # ReLU 激活函数 def relu(x): return np.maximum(0, x) # Leaky ReLU 激活函数 def leaky_relu(x, alpha=0.01): return np.maximum(alpha * x, x) # ELU 激活函数 def elu(x, alpha=1.0): return np.where(x > 0, x, alpha * (np.exp(x) - 1)) # 生成 x 值 x = np.linspace(-10, 10, 100) # 绘制激活函数图像 plt.figure(figsize=(10, 6)) plt.plot(x, sigmoid(x), label='Sigmoid') plt.plot(x, tanh(x), label='tanh') plt.plot(x, relu(x), label='ReLU') plt.plot(x, leaky_relu(x), label='Leaky ReLU') plt.plot(x, elu(x), label='ELU') plt.xlabel('x') plt.ylabel('Activation') plt.title('Activation Functions') plt.legend() plt.grid(True) plt.show() ``` 希望这个代码可以帮助你绘制出Sigmoid、tanh、ReLU、Leaky ReLU和ELU激活函数的图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值