关于深度学习中的激励函数的傻瓜式理解

最新推荐文章于 2021-01-05 11:22:45 发布
最新推荐文章于 2021-01-05 11:22:45 发布
阅读量399 收藏 1
点赞数
分类专栏： 随笔 Tensorflow python 深度学习 机器学习 文章标签： 激励函数 activation function
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Johnisjohn/article/details/90139903
版权
随笔 同时被 3 个专栏收录
91 篇文章 0 订阅
订阅专栏
深度学习
21 篇文章 0 订阅
订阅专栏
机器学习
18 篇文章 0 订阅
订阅专栏

资料来源 

https://www.youtube.com/watch?v=tI9AbaBfnPc&list=PLXO45tsB95cKI5AIlf5TxxFPzb-0zeVZ8&index=13

 

看了莫烦老师关于激励函数的视频，做个记录：

激励函数就是“掰弯函数”，它将线性函数掰弯，使得输出结果有了非线性的特征。

激励函数有ReLu,Tanh,sigmoid等，也可以是自己写的函数，但是要保证可以微分。

如果神经网络的层数很少只有一两层，那么随便用哪一个激活函数都行，但是如果层数很多，就要慎重选择激活函数，否则还会引起梯度爆炸或梯度损失等问题。

一般来说，在卷积神经网络CNN中用ReLu，在循环神经网络RNN中用ReLu或Tanh

梦回普达措
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习的激励函数
UESTC_C2_403的博客
06-18 8859
1.sigmoid函数： 导数为：。这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候，会乘以它的导数，所以会一直减小。并且在比较大或者比较小的时候，会产生饱和效应，导致神经元类似与死亡。 2.tanh函数 导数： 。tanh函
聊一聊深度学习中常用的激励函数
拿Q
10-18 1278
  大家都知道，人脑的基本计算单元叫做神经元。现代生物学表明，人的神经系统中大概有860亿神经元，而这数量巨大的神经元之间大约是通过1014−1015个突触连接起来的。上面这一幅示意图，粗略地描绘了一下人体神经元与我们简化过后的数学模型。每个神经元都从树突接受信号，同时顺着某个轴突传递信号。而每个神经元都有很多轴突和其他的神经元树突连接。而我们可以看到右边简化的神经元计算模型中，信号也是顺着轴突...
【深度学习】之 激励函数
dongle0224的博客
06-17 635
写在前面： 最近才开始学习Deep Learning，希望用写博客的方式记录下整个学习过程。菜鸟的进阶之路，开启~~~（基于pytorch） ----------------------手动分割------------------ 激励函数（Activation Function AF） 深度学习中的激励函数简而言之就是：一个非线性函数。它可以将线性方程转化为非线性的，以便深...
深度学习中常用的激励函数
an0509的博客
07-22 529
深度学习中常用的激励函数 我们知道深度学习的理论基础是神经网络，在单层神经网络中（感知机），输入和输出计算关系如下图所示： 可见，输入与输出是一个线性关系，对于增加了多个神经元之后，计算公式也是类似，如下图： 这样的模型就只能处理一些简单的线性数据，而对于非线性数据则很难有效地处理（也可通过组合多个不同线性表示，但这样更加复杂和不灵活），如下图所示： 那么，通过在神经网络中加入非线性激励函数后，神经网络就有可能学习到平滑的曲线来实现对非线性数据的处理了。如下图所示： 因此，神经网络中激励函数的作用通俗上讲就
电源技术中的傻瓜式改造ATX可调电源过程
10-21
改造ATX的第一步就是找到一个电源，当然这个电源必须是好的！山寨的无所谓，建议不要用太好的，因为太好的电源电路复杂而且和普通的电源结构有可能不一样！ 　第一步：首先大家要先测试一下电源，将ATX电源接电，...
傻瓜函数式编程.docx
05-31
【函数式编程简介】 函数式编程（Functional Programming，FP）是一种编程范式，它强调将计算视为函数的求值过程，而不是...通过深入学习和实践，开发者能够逐步克服学习难点，将函数式编程的优势融入到日常工作中。
机器学习“傻瓜式”理解（3）KNN算法（初步理解）
12-22
KNN（K近邻算法） 基础理解 面对这个算法需要蹦出来几个问题：KNN是什么？可以解决什么问题？...②将距离进行排序，找前k个中出现次数最多的便是我们的预测结果。 代码实现：（Github处于外网，所以我在这里
Edius8.53傻瓜式一键安装版
06-18
亲测可用
大数据平台环境搭建傻瓜式说明书
07-04
大数据平台环境搭建傻瓜式说明书
11月深度学习班第3课CNN激励层(ReLU)
weixin_30321709的博客
10-31 178
转载于:https://www.cnblogs.com/koocn/p/7760124.html
深度学习《激励函数》你了解透了吗？
wuyouyin123的博客
04-16 324
为了说清楚问题，画了如下图帮助理解。 ================================================================ 如果lossFunction 是 mse，真值为z_true，loss = ( z_true - z ) ** 2 d(loss)/d(z) = 2(z - z_true) d(z)/d(y) = sigmoid’(z) d(y)...
数字逻辑期末复习
说好的
05-11 3737
输出函数：Z=F（X，y） 激励函数：Y=H（X，y） 某Mealy型电路状态表格式 处于状态B的时序逻辑电路，当输入x为1时，输出Z为0，在时钟脉冲的作用下，电路进入次态A。 （Z和Q、X有关） 只有在时钟信号到来电路才发生改变一次，否则即使输入发生变化，电路状态也不会改变。 ...
2021-01-04
wangqiyaya的博客
01-05 447
数字逻辑概览 （主要是按老师的重点和自己的笔记结合） 一、数字与编码 1、十进制，二进制 二，八，十，十六进制的转化 2、原码，反码，补码的表示及加减运算 原码就不多说了 反码（一的补） 补码（二的补） https://www.bilibili.com/read/cv1669932/ 一的补和二的补的解释，可以让你对反码和补码有更深的理解。 符号位为1时才反（一定要记住）反码和补码一样，不过补码要加个一 运算：原码符号位不参与计算，数值参与运算，符号相同直接相加 补码（最易实现，考的也多符号位参与运算，产生
被掰弯的线性函数，海王一样的logstic
u014120554的专栏
04-19 411
本文将要讲述的内容是多个机器学习方法推导的一些共通支出，虽涉及到算法的推导，但还是希望能尽量轻松愉快的讲解，并且能够帮助大家，将这几个算法的推导，更加系统化的理解。 本文主要将要讲到的几个机器学习的方法包括线性回归、logstic回归、XGBoost、Word2Vector以及深度学习等一系列方法的推导以及他们在推导中的共通之处。可能这里提到的内容，很多大神都有提到过，没有关系，可以再次温习一下。
【深度学习】常用的激活函数
小马日记
11-07 3254
一、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数） 1、Sigmoid函数 （1）数学公式 f(x)=11+ex\displaystyle f( x) =\frac...
小程序点击事件插入激励视频广告实例（小白应该也能懂）
小创果技术交流博客
11-17 9142
鼓捣了一段时间，终于算是明白了，现在想想确实很简单，毕竟只是函数与函数调用的问题。 首先设置需要定义广告函数，在网上看到的很多都在把他直接加在了onload函数里面，但是对于小白来言，处理不好与其他之间事件的关系，导致出错。所以我直接定义了一个广告加载函数。 在js页面里 //加载激励广告 adGet: function () { if (qq.createRewardedVideo...
从卷积层、激活层、池化层到全连接层深度解析卷积神经网络的原理
热门推荐
喜欢打酱油的老鸟
02-01 4万+
https://www.toutiao.com/a6609148733269475848/ 2019-01-30 22:32:42 局部连接+权值共享 全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播，所以说全连接神经网络可以存储非常多的参数，如果你给它的样本如果没有达到它的量级的时候，它可以轻轻松松把你给他的样本全部都记下来，这会出现过拟合的情况。 所以我们应该把...
eclipse 傻瓜式安装
最新发布
09-07
要在 Eclipse 中进行傻瓜式安装，您可以按照以下步骤进行操作： 1. 首先，您需要下载适用于您操作系统的 Eclipse 安装程序。您可以在 Eclipse 官方网站上找到不同版本的下载链接。 2. 下载完安装程序后，双击运行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值