【深度学习】激活函数：Sigmoid、sign、ReLu、tanh

于 2023-07-31 17:05:19 发布
阅读量628 收藏 4
点赞数 4
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h2wo4/article/details/132025538
版权

Sigmoid函数

\sigma=Sigmoid(z)=\frac{1}{1+e^{-z}}

 

可以将回归算法转化为分类算法：当\sigma 值大于设定阈值（如0.5）时，预测结果为1类；\sigma< 0.5时，预测结果为0类

Pytorch调用：

import torch
from torch.nn import functional as F
F.sigmoid(zhat)

符号函数sign

y=\left\{\begin{matrix} 1 & if \quad z>0\\ 0& if \quad z=0 \\ -1& if \quad z<0 \end{matrix}\right.

 

Pytorch调用：

torch.sign(zhat)

ReLu

保留正数元素，将负元素清零

\sigma=\left\{\begin{matrix} z & (z>0)\\ 0&(z\leq 0) \end{matrix}\right.

 

Pytorch调用：

F.relu(zhat)

 tanh

双曲正切函数，与sigmoid性质类似，能将数值压缩到\left (-1,1 \right )区间

\sigma=\frac{e^{2x}-1}{e^{2x}+1}

 

torch.tanh(zhat)

注意sigmoid和ReLu都在torch.nn.functional模块下

H2WO4
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
机器学习数学基础 - 导数和偏导数
星辰大海，脚踏实地
04-05 5102
概述导数（Derivative）是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f’(x0)或df(x0)/dx。 导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。如果函数的自变量和取值都是实数的话，函数在某一点的导数就是该函数所
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数的导数为0；当输⼊为正数时，ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导，但是我们可以取此处的导数为0。绘制ReLU函数的导数图像： sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间，函数定义： sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
深度学习deep learning
热门推荐
qq_46458188的博客
11-28 1万+
一、简介 深度学习是包含多个隐层的机器学习模型，核心是基于训练的方式，从海量数据中挖掘有用信息，实现分类与预测。 早期的深度学习模型：编码器、循环神经网络、深度置信网络、卷积神经网络 衍生模型：堆叠降噪自编码器、稀疏自编码器、降噪自编码器 深度学习的常用模型：卷积神经网络（CNN），深度信念网络（DBN），深度自动编码器（DAE），限制玻尔兹曼机（RBM）。CNN有全监督学习和权值共享的特点，在自然语言处理和语音图像识别领域有很强优势。其他深度学习模型大多先采用无监督方式逐层预训练，再使用有...
Twitter团队最新研究：快速高效的可扩展图神经网络SIGN
DrugAI
06-16 2252
作者 | 程玉审稿 | 罗晓妍今天给大家介绍的是Twitter研究团队发表的一篇论文，该研究针对大规模图神经网络训练的问题，提出的一种新的结构更加简单的模型——SIGN，这种模型的提出使...
机器学习/深度学习/NLP-1-常用激活函数
王小二的博客
08-10 1846
机器学习-1-常用激活函数sign和sigmoidsignsigmoidsoftmaxtanhRelu参考文献 sign和sigmoid sign sign(x)或者Sign(x)叫做符号函数，在数学和计算机运算中，其功能是取某个数的符号（正或负）： 图解： sigmoid sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。 优点：平滑、易于求导。 缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反
独家连载 | 常用激活函数讲解
t5131828的专栏
01-07 2742
4.4 常用激活函数讲解 神经网络的激活函数其实有很多种，在前面的章节中我们介绍过两种激活函数，sign函数和purelin函数。sign函数也称为符号函数，因为sign(x)中x＞0，函数结果为1；sign(x)中x＜0，函数结果为-1。purelin函数也称为线性函数，表达式为y=x。这两种激活函数在处理复杂非线性问题的时候都不能得到很好的结果，线性函数的分类边界也是线性的，所以不能区别非线性...
神经网络之初入神经网络
zhaodeming000的博客
06-05 496
单层感知器 包含：输入节点，输出节点，权向量，偏置因子，激活函数； 例： 感知器学习规则 y=f(∑i=1nxi⋅wi)y = f(\sum_{i=1}^{n} x_i \cdot w_i)y=f(∑i=1n​xi​⋅wi​) 或者y=f(∑i=1nxi⋅wi+b)y = f(\sum_{i=1}^{n} x_i \cdot w_i + b)y=f(∑i=1n​xi​⋅wi​+b) yyy是输出...
Pytorch ----逻辑斯蒂回归 （Sigmoid函数） -----分类问题模型,~~学习笔记
深度不学习！！的博客
10-31 3763
说是回归，实际是在讨论分类问题。 如下的分类图，里面含有0-9 十个数字。 这时候就不能再使用前面几节学过的线性回归模型(y = w * x + b)了，因为图片中的数字并没有对应到实际抽象的数字，我们只做分类，图片类别之间是没有大小的。 也就是我们要算出来 根据输入值，算出其属于某一部分的概率。 例如之前在线性回归中使用的数据模型: x表示学习几个小时，y表示考试中可以得到几分。 而现在的数据模型改为: x依旧是学习几个小时，y变为是否能够通过考试，0不通过，1通过。 此时为明显的分类问题，此处叫二
机器学习-sigmoid函数和relu函数-个人解读
weixin_43327597的博客
07-10 3804
而且根据输入激活函数随机性的原理我们可以知道，经过这个激活函数处理，有一般的概率输出为0，由反向传播的原理知道，经过激活函数输出为0，那么这激活函数在这次样本输入中其梯度就为0，也就是不会被更新，且该神经元的输出也不会对最终结果再有影响。第二，就是relu函数的真正精髓，每次训练会随机的让让很大一部分神经元失灵，只更新部分神经元，每次更新的部分神经元是随机的，在这种情况下，每次被更新的神经元组合是很复杂的，相同性很低，那么就可以有效的让神经元独立学习，孤军奋战，不那么被其他神经元影响，做出自己的有利贡献。
SignReLU激活函数
weixin_38190702的博客
06-25 321
SoftReLU激活函数简介
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
。。。
文档：激活函数的比较和优缺点sigmoid tanh relu.docx
06-18
。。。
python 深度学习中的4种激活函数
12-16
这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数，下面会从公式、代码以及图像三个方面介绍这几种激活函数，首先来明确一下是哪四种： Sigmoid函数 Tahn函数 ReLu函数 SoftMax函数 激活函数的作用 ...
深度学习的数学-导数和偏导数
JeffreyWang的技术博客
03-08 2899
文章目录前言正文导数的定义导数的含义及常见函数导数导数的性质分数的求导导数和函数最小值的关系（重点）函数的增减表偏导数多变量函数偏导数的求解（重点）多变量函数的极值问题（重点）躲不掉的拉格朗日总结 前言 本章主要记录机器学习里边比较重要且非常容易成为初学者拦路虎（没错就是博主我）的一个数学概念：导数和偏导数 正文 导数的定义 对于一个函数 f(x)，其导数的定义如下： 其中 lim Δx-&gt...
c++学习笔记1.1 输入输出流cin cout cerr clog endl
weixin_42568744的博客
10-02 251
c++学习笔记 1.1 输入输出流之cin cout cerr clog endl cin,cout标准输入输出 而 cerr 输出错误消息和警告 clog 输出运行时一般性信息 cout cerr clog区别在于 重定向 详情见例子。 cout通常是传到显示器输出,但可以被重定向输出到文件, cerr，clog流中的信息只能在显示器输出. 区别在于cerr不经过缓冲区,直接向显示器输出信息 而clog中的信息存放在缓冲区,缓冲区满或者遇到endl时才输出. 测试代码 #include <sta
深度学习中激活函数可导问题
renzerhyx的博客
02-28 87
激活函数
神经网络反向求导不可导情况处理
RichardsZ_的博客
08-04 1426
1.激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 针对这种类型的激活函数，可以使用次梯度来解决。 次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但是，由于它对不可导函数有很好的处理方法，所以学习它还是很有必要的。 对于rel
python中sign函数图片_机器学习 第33集：什么是sign函数？什么是sigmoid函数？( 含有笔记、代码、注释 )...
weixin_39982537的博客
12-11 926
什么是sign函数？什么是sigmoid函数？① sign(x)将大于0的分为1，小于0的分为-1。② sigmoid(x)将大于0.5的分为1，小于0.5的分为0。Python基础积累函数def fun1():'''testing'''print('in the fun1')return 1# 定义一个过程 实质就是无返回值的函数def fun2():'''testing2'''print('i...
绘制5种常见激活函数的图：Sigmoid 激活函数、tanh 激活函数、ReLU 激活函数、Leaky ReLU激活函数、ELU激活函数使用python实现
最新发布
08-02
以下是使用Python绘制5种常见激活函数的图的代码： ```python import numpy as np import matplotlib.pyplot as plt ...希望这个代码可以帮助你绘制出Sigmoid、tanh、ReLU、Leaky ReLU和ELU激活函数的图像。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值