【深度学习原理第2篇】常用的几种激活函数

最新推荐文章于 2022-03-28 18:04:51 发布
最新推荐文章于 2022-03-28 18:04:51 发布
阅读量214 收藏 1
点赞数
分类专栏： 深度学习原理及算法 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39615182/article/details/109614126
版权

激活函数

假设我们只看下图前馈神经网络中圈到的神经元，其他的不看，就可得到下面第二张图效果
在这里插入图片描述

在这里插入图片描述
由上图可以看到神经元中有激活函数Activation

激活函数定义

在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。
激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，否则每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这就是最初的感知机，应用很局限。

常用的三种激活函数（sigmoid函数、tanh函数、relu函数）

sigmoid函数
在这里插入图片描述
输出范围在0到1之间，曲线两端平坦

tanh函数
在这里插入图片描述

输出范围在-1到1之间，曲线两端平坦

relu函数（取最大值函数）
在这里插入图片描述

重点：隐藏层的常用relu函数，因为sigmoid函数与tanh函数两边都很平坦，基本是平行的，梯度下降难以实现(梯度消失现象)，这会导致输出层神经元学习率缓慢，故常用relu函数

1. 深度学习——激活函数
qq_32468785的博客
11-10 1072
激活函数是一种用于神经网络和其他机器学习模型中的非线性函数。它被应用于神经网络的每个神经元上，将输入信号进行转换，产生输出信号。激活函数的作用是引入非线性性质，使神经网络能够学习和表示更复杂的函数关系。在神经网络中，每个神经元接收来自上一层神经元的加权输入，然后通过激活函数对这个加权输入进行非线性变换，生成神经元的输出。这个输出被传递到下一层神经元作为输入。激活函数的主要作用有以下几点：引入非线性：激活函数能够将线性变换后的输入转换为非线性输出，使得神经网络具备非线性建模能力。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
前馈神经网络之神经元及激活函数简介
zhang_ha_ha_的博客
04-29 6137
卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，直到输出层。各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。 人工神经网络(Art...
【深度学习学习笔记】4.前馈神经网络之一：激活函数（Sigmoid和ReLu）
cazenove的博客
08-01 1901
神经元激活函数：一个非线性的函数1.Sigmoid型激活函数：Logistic函数：11+exp(−x)\frac{1}{1+exp(-x)}1+exp(−x)1​，值域（0，1）Tahn函数：exp(x)−exp(−x)exp(x)+exp(−x)\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}exp(x)+exp(−x)exp(x)−exp(−x)​，值域（-1，1）Hard Sigmoid函数：用分段函数近似Sigmoid函数hard-logistic（x）=max(min(
前馈神经网络--常见激活函数之Swish
克克克克业业的学习记录
03-16 997
Swish激活函数函数表达式:代码实现及可视化函数特性 函数表达式: y = x⋅sigmoid(βx) 代码实现及可视化 import numpy as np def sigmoid(x): a = np.exp(x) ans = a / ( a + 1) return ans def swish(x,B): return x * sigmoid(B * x) import matplotlib.pyplot as plt c = ['k','r','b','m','
自学神经网络系列——7 前馈神经网络前置知识
ML_python_get√的博客
02-14 1702
7 全连接神经网络 总结一 感知机算法1 模型形式2 线性分类器3 存在问题4 python实现（1）与门（2）与非门（3）或门5 多层感知机解决异或问题二 神经网络结构1 常见的激活函数（1）sigmoid 激活函数（2）Tanh激活函数（3）Relu激活函数（4）Leaky Relu（5）Softplus激活函数（6）其他激活函数2 网络结构（1）前馈神经网络（2）循环神经网络（3）图神经网络 一 感知机算法 1 模型形式 z=∑i=0Dwdxd+bz = \sum_{i=0}^D w_dx_d+
【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
Bessie_Lee
01-21 3736
文章目录一、常见的三种网络结构二、激活函数（1）S型激活函数logistic函数和Tanh函数：hard-logistic函数和hard-Tanh函数：（2）ReLU函数带泄露的ReLU【leaky ReLU】带参数的ReLU【Parametric ReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像（3）Swish函数（4）GELU函数（5）Maxout单元三、前馈神经网络 一、常见的三种网络结构 我们熟知的网络结构有三种，分别是前馈神经网络，记忆神经网
深度学习之几种常见的激活函数及其用法
sinat_34231101的博客
01-10 2796
在深度学习中，常常要用到激活函数，激活函数在深度学习模型中非常重要，激活函数的选取极大地关系到模型的好坏，在此介绍一些常用的激活函数及其最常用的使用场景。图源网络，侵删。 什么是激活函数 激活函数顾名思义，就是将深度学习中的线性加权激活，引入非线性的因素。如果没有激活函数，神经网络只是简单地矩阵相乘，无论叠加了多少层，仍然是矩阵相乘，都只是线性的变换，但是在矩阵相乘后，引入一个激活函数，便引入了一...
深度学习常用激活函数
AI_BigData_WH的博客
09-10 5084
在感知器模型、神经网络模型、深度学习模型中均会看见激活函数的声影。激活函数又被称为转移函数、激励函数、传输函数或限幅函数，其作用就是将可能的无限域变换到一指定的有限范围内输出，这类似于生物神经元具有的非线性转移特性。 常用的激活函数有：线性函数、斜坡函数、阶跃函数、符号函数、Sigmoid函数、双曲正切函数、Softplus函数、Softsign函数、Relu函数及其变形、Maxout函数等。
TensorFlow 2.0 深度学习实战 —— 详细介绍损失函数、优化器、激活函数、多层感知机的实现原理
风尘浪子
03-28 6442
本文主要介绍了 MSE、MAE、CEE 、Hinge、Huber 等 15 个常用损失函数的计算方式和使用场景，讲解 SGD、AdaGrad、Adam、RMSProp 4类优化器的公式原理，对阶跃激活函数、Sigmoid 激活函数、ReLU激活函数、Leaky ReLU 激活函数、Tanh 激活函数、Softmax激活函数等进行分析。通过分类与回归的使用实例对 MLP 多层感知器的使用进行介绍，对比 Tensorflow 1.x 与 Tensorflow 2.x 在应用上区别。最后，讲解如何使用 dropo
常见前馈神经网络与Sigmoid激活函数
weixin_40137923的博客
05-03 958
神经元： 神经元的净输入通过一个激活函数得到一个活性值。 激活函数非常重要，激活函数的主要性质： 连续可导的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习参数。 激活函数以及导函数尽可能简单，有利于优化。 激活函数的值要在一个合适的区间，不能太小也不能太大，否则会影响效率和稳定性。 常见激活函数 Sigmoid激活函数 Logistic函数 Tanh函数 ...
神经网络中的激活函数及其各自的优缺点、以及如何选择激活函数
JacksonKim的博客
05-12 1万+
文章转载自：https://zhuanlan.zhihu.com/p/71882757 1.什么是激活函数？ 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。 2.为什么要用激活函数？ 如果不
神经网络的激活函数总结
weixin_34162695的博客
03-13 1114
为什么80%的码农都做不了架构师？>>> ...
机器学习总结（七）：基本神经网络、BP算法、常用激活函数对比
西电校草-OMEGA
03-31 2万+
1.   神经网络 （1）为什么要用神经网络？ 对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多学习参数过多，从而复杂度太高。 （2）常用的激活函数及其优缺点 阶跃函数sgn(x)（理想，但不连续，不光滑）; Sigmoid函数（下图左）： 优点：能够把输入的连续实值压缩到0到1之间； 缺点：（1）容
几种常见的激活函数
MachineLP的专栏
09-30 8万+
你要的答案或许都在这里：小鹏的博客目录 MachineLP的Github（欢迎follow）：https://github.com/MachineLP 本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy & Justin Johnson联合开设的Convolutional Neural Networks for Visual Recognit...
【TensorFlow】激活函数（Activation Functions）原理解析（十二）
brucewong0516的博客
12-18 1万+
神经网络结构的输出为所有输入的加权和，这导致整个神经网络是一个线性模型。如果将每一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了，使得神经网络可以更好地解决较为复杂的问题。这个非线性函数也就是**激活函数**。
常见的五种神经网络(1)-前馈神经网络
Thinkgamer博客
04-23 4万+
转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 公众号：数据与算法联盟 给定一组神经元，我们可以以神经元为节点来构建一个网络。不同的神经网络模型有着不同网络连接的拓扑结构。一种比较直接的拓扑结构是前馈网络。前馈神经网络（Feed...
【Stanford CNN课程笔记】5. 神经网络解读1 几种常见的激活函数
elaine_bao的专栏
03-05 3万+
本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy & Justin Johnson联合开设的Convolutional Neural Networks for Visual Recognition课程的学习笔记。目前课程还在更新中，此学习笔记也会尽量根据课程的进度来更新。今天终于可以开始讲神经网络啦~~
机器学习入门学习笔记（四）神经网络
chengdong996的博客
07-16 7590
一、神经元模型 神经网络目前使用得最广泛的一种定义：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经网络中最基本的成分是神经元(neuron)模型。 在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阙值”(threshold)，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。 1943年, [McCulloch and
神经网络第二层用于二分类问题常用的激活函数有哪些
最新发布
05-10
神经网络第二层用于二分类问题常用的激活函数有以下几种： 1. Sigmoid函数：sigmoid函数将输入值压缩到0到1之间，可以将其看作是一个概率值，常用于二分类问题。 2. Tanh函数：tanh函数将输入值压缩到-1到1之间，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小样x

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值