17,18_常见函数梯度，激活函数梯度（Sigmoid、Tanh、ReLu）

最新推荐文章于 2024-03-13 11:28:32 发布
最新推荐文章于 2024-03-13 11:28:32 发布
阅读量933 收藏 1
点赞数
分类专栏： # Pytorch学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tototuzuoquan/article/details/113532565
版权
本文探讨了深度学习中常见的激活函数，包括Sigmoid、Tanh和ReLU，并详细阐述了它们的导数（梯度），如Sigmoid的导数torch.sigmoid，Tanh的导数torch.tanh，以及ReLU的导数F.relu。理解这些函数的梯度对于优化神经网络的训练至关重要。
摘要由CSDN通过智能技术生成

1. 常见函数梯度

1.1 常见函数

在这里插入图片描述

2. 激活函数及其梯度

2.1 激活函数

在这里插入图片描述

Derivative (倒数)

在这里插入图片描述

Sigmoid / Logistic

在这里插入图片描述

Sigmoid Derivative (求导)

在这里插入图片描述

torch.sigmoid

最低0.47元/天 解锁文章
涂作权的博客
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
2.常见函数的梯度.pdf
09-21
2.常见函数的梯度.pdf
PyTorch-04梯度、常见函数梯度、激活函数Sigmoid；Tanh；ReLU及其梯度、LOSS及其梯度、感知机（单层感知机）、感知机2（多输出的）、链式法则、MLP反向传播推导、2D函数优化实例
m0_37755995的博客
05-15 2695
PyTorch-05梯度、常见函数梯度、激活函数（Sigmoid、Tanh、ReLU）及其梯度、LOSS及其梯度（MSE 均方误差、Cross Entropy Loss 交叉熵损失函数和两种求导方法）、感知机（单层感知机模型）、感知机2（多输出的）、链式法则、MLP(Multilayer Perceptron多层感知机) 反向传播推导、2D函数优化实例
DeepLearing学习笔记-Sigmoid函数的梯度
ljp1919的专栏
09-24 9083
背景：求解z=σ(z)z= \sigma(z)的梯度 由于sigmoid(x)=11+e−xsigmoid(x) = \frac{1}{1+e^{-x}} 在python中利用numpy模块实现：# GRADED FUNCTION: sigmoidimport numpy as np # this means you can access numpy functions by writing n
实现sigmoid_使用TensorFlow实现反向传播算法（一）
weixin_39959126的博客
12-08 446
反向传播算法1.激活函数导数1.1 Sigmoid函数导数Sigmoid函数表达式：Sigmoid函数的导数表达式：下面我们用代码来实现Sigmoid函数及其导数，并进行可视化# 导入 numpy 库import numpy as np from matplotlib import pyplot as pltplt.rcParams['font.size'] = 16plt.rcParams['f...
sigmoid函数_神经网络sigmoid函数导数(derivative)推算
weixin_39863759的博客
12-08 354
上面这个图就是sigmoid函数的导数公式因为sigmoid(x)可以理解成可能性，所以式子可以解读成x的可能性的导数=x的可能性 * 不为x的可能性。。但是这个不是重点不知道你是不是搞不明白机理就学不下去的类型，如果是的话，推荐两个资源：首先是关于欧拉数e的本质（油管视频，自备工具），3blue1blown出品必为精品： https://www.youtube.com/watch?v=m2MIp...
14.激活函数及其梯度
weixin_44033183的博客
10-10 1715
激活函数及其梯度 阈值函数：神经元机制不是简单的各个输入的加权求和，它存在阈值响应机制，只有在阈值大于某个值是它才会输出，而且输出的电压值是固定的 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数...
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
本篇文章将详细讲解两种常见的激活函数——Sigmoid和Tanh，并通过Python代码演示如何分别绘制它们的图形以及如何将它们合在一起画在同一张图上。 Sigmoid函数，也称为Logistic函数，表达式为： \[ f(x) = \frac{1}{...
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
文档：激活函数的比较和优缺点sigmoid tanh relu.docx
06-18
这篇文档主要探讨了深度学习中常用的激活函数，包括Sigmoid、Tanh、ReLU和Softmax，分析了它们的特性和优缺点，并进行了比较。激活函数在神经网络中起到关键作用，它们引入非线性，使网络能够处理复杂的非线性问题。...
神经网络最全激活函数，包括sigmoid，tanh，ReLU，
最新发布
06-23
本文将详细介绍标题和描述中提到的几种激活函数，包括sigmoid、tanh、ReLU以及ELU、PReLU和softplus等。 1. **Sigmoid函数**： Sigmoid函数是最早被广泛使用的激活函数之一，其公式为`f(x) = 1 / (1 + e^(-x))`。...
关于激活函数
01-07
1.为什么要使用激活函数 因为线性函数能拟合的模型太少，多层线性神经网络的...tanh几乎在所有情况下的表现都比sigmoid好，因为它的输出值介于-1到1，激活函数的平均值更接近于0，这样可以达到类似zero-centered（数
8月2日Pytorch笔记——梯度、全连接层、GPU加速、Visdom
Ashen_0nee的博客
08-02 406
本文为8月2日Pytorch笔记，分为十二个章节： - 常见函数的梯度： - 激活函数及其梯度：Sigmoid、Tanh、ReLU； - Loss 函数及其梯度：MSE、Softmax； - 感知机的梯度：单一输出感知机、多输出感知机； - 链式法则； - Multi-Layer Perceptron反向传播； - 2D 函数优化实例； - 交叉熵； - 全连接层； - GPU 加速； - MNIST 测试； - Visdom 可视化。...
pytorch常见的函数梯度
wyw0000的博客
03-07 474
常见梯度函数
【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1315
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。
激活函数简介
热门推荐
hllyzms的博客
07-29 1万+
Sigmoid激活函数曾一度被不同的网络使用，从Sigmoid及其导数曲线图可知，当输入的值非常小或者非常大时，其Sigmoid输出的值接近0或者1，当Sigmoid函数的前一层梯度接近于0时，由于前一层的学习参数梯度接近于0，使得参数无法得到有效更新，从而产生饱和神经元，因此Sigmoid激活函数在网络使用中比较容易产生梯度消失问题，饱和的神经元会加重梯度消失问题。由曲线图可知，tanh激活函数是关于原点中心对称的，相比Sigmoid而言，收敛速度加快，梯度消失的特点依旧存在，因此难以训练。...
深度学习（24）随机梯度下降二: 常见函数的梯度
weixin_43360025的博客
08-20 138
深度学习（24）随机梯度下降二: 常见函数的梯度Common Functions1. y=xw+by=xw+by=xw+b2. y=xw2+b2y=xw^2+b^2y=xw2+b23. y=xew+eby=xe^w+e^by=xew+eb4. [y−(xw+b)]2[y-(xw+b)]^2[y−(xw+b)]25. ylog⁡⁡(xw+b)y \log⁡(xw+b)ylog⁡(xw+b) Common Functions 1. y=xw+by=xw+by=xw+b 2. y=xw2+b2y=xw^2+b^2
梯度（常见函数梯度推导，单层多层感知机梯度推导）
weixin_46955575的博客
08-25 811
梯度：各个变量的偏导组成的向量。
39_上下采样、MaxPool2d、AvgPool2d、ReLU案例、二维最大池化层和平均池化层、填充和步幅、多通道
涂作权的博客
02-16 6158
1.34.PyTorch Down/up sample (pytorch上下采样) 1.34.1. 首先介绍下采样 1.34.1.1. MaxPool2d案例 1.34.1.2. AvgPool2d案例 1.34.2. F.interpolate案例（上采样） 1.34.3.ReLU案例 1.34.PyTorch Down/up sample (pytorch上下采样) 参考地址：https://cloud.tencent.com/developer/article/1542468 pooling(池化)层
激活函数（ReLU、sigmoid、tanh）的优点和局限性
04-04
ReLU的优点： 1. 计算速度快：ReLU仅对正数进行操作，不需要进行复杂的计算，因此计算速度比sigmoid和tanh快很多。 2. 解决梯度消失问题：在深度神经网络中，梯度消失是一个常见的问题，ReLU可以在一定程度上缓解梯度消失的问题，因为它只有一部分区域的导数是0。 3. 稀疏性：ReLU可以使得神经元输出的结果变得更加稀疏，因为它会将一些负数的输入变成0，这样可以减少神经元之间的相互依赖。 ReLU的局限性： 1. 死亡ReLU问题：当输入为负数时，ReLU的导数为0，这将导致神经元“死亡”，即无法更新权重，影响模型的性能。 2. 非线性可分性限制：ReLU只能处理线性可分问题，无法处理一些非线性可分的问题，如异或问题。 3. 对负数的处理方式不够优秀：ReLU对负数的处理方式是将其变为0，这样可能会导致信息的丢失。 sigmoid的优点： 1. 可以将输出限制在0~1之间，并且输出值可以表示概率。 2. 具有良好的可导性，方便进行反向传播算法更新权重。 3. 在一定程度上可以防止神经元之间的相互依赖。 sigmoid的局限性： 1. 计算量大：sigmoid函数的计算量比ReLU和tanh大，因为它需要进行指数运算。 2. 容易出现梯度消失问题，特别是当输入很大或很小的时候，导数可以趋近于0，使得权重更新变得困难。 3. 输出不是零中心化的，这会导致模型的收敛速度变慢。 tanh的优点： 1. 输出值在-1~1之间，可以使得模型的输出更加稳定。 2. 具有良好的可导性，方便进行反向传播算法更新权重。 tanh的局限性： 1. 计算量大：tanh函数的计算量比ReLU和sigmoid大，因为它需要进行指数运算。 2. 容易出现梯度消失问题，特别是当输入很大或很小的时候，导数可以趋近于0，使得权重更新变得困难。 3. 输出不是零中心化的，这会导致模型的收敛速度变慢。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涂作权的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值