【数之道 06】神经网络模型中激活函数的选择

最新推荐文章于 2024-02-20 20:37:24 发布
最新推荐文章于 2024-02-20 20:37:24 发布
阅读量159 收藏
点赞数
文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46050242/article/details/133908818
版权

激活函数的选择

b站视频

为什么使用激活函数

没有激活函数，无论怎么调整权重和偏差输出值仍为线性，但是真实世界大多数系统是非线性的
只有神经网络中包含至少一层隐藏层和足够的神经元，利用非线性激活函数可以模拟任何复杂的连续函数

激活函数的选择

sigmoid

在这里插入图片描述
在这里插入图片描述

特点

  1. 其输出值落于 0 1 连续区间
  2. 在输入值从横坐标左侧移动到右侧的过程中，其输出值呈现从平缓到加速再到平缓的特点
  3. Sigmoid 函数的导数值落于 0 0 ． 25 的连续区间

局限性
在这里插入图片描述

  • 多个0.25相乘后，会严重影响最终的权重调整幅度，第一层的初始权重之后很难通过，反向传播再变化，成为梯度消失
  • 在进行指数计算时需要消耗较的算力资源，故不常使用

tanh

在这里插入图片描述
在这里插入图片描述

特点

  1. 其输出值落于 -1，1 连续区间
  2. 函数的导数值落于 0，1的连续区间
    tanh 能够相对环节梯度消失的问题
    在这里插入图片描述

ReLU(Rectified Linear Unit)

(隐藏层的默认推荐激活函数)

在这里插入图片描述
它是一个非线性函数，其在 〉 0 时展示的线性特征，能很好的解决梯度消失的问题，且相较于前两者可以带来更高效的计算
整体的非线性可以在神经网络中拟台任何复杂的连续函数
在这里插入图片描述

在这里插入图片描述
输入为负数时，输出值和导数均为0，此时该神经元处于熄灭状态

在这里插入图片描述

且在逆向参数调整过程中不产生梯度调整值

Leaky ReLU（ ReLU 函数的变形体）

在这里插入图片描述
再负数区间内添加较小斜率的线性部分，使负数区域内也能产生梯度调整值
在这里插入图片描述
解决神经元的熄灭问题

隐藏层的选择顺序

在这里插入图片描述

输出层的激活函数以业务要求为导向

二分类问题

判断是否是猫

在这里插入图片描述
我们可以用 Sigmoi d 丞数返回是猫的概率作为最终输出值

多分类问题

希望返回每个动物的概率
在这里插入图片描述

可以使用 SoftMax 函数吗，概率总和为1

多标签问题

某样本可以同时属于多个类别

在这里插入图片描述
这里也可以用 sigmoid 函数每个类的概率

线性回归问题

要预测绝对的数值时，比如身高体重 GDP 投资额等
在这里插入图片描述那么最后就可以直接使用线性函数作为激活函数

醉酒柴柴
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
09-19 4928
微信公众号关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第二【Python】：排名第三【算法】：排名第四前言在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。其中使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？以下是本文的内容。MSE损失+Sigmoi
BP神经网络概念
keven_deng的博客
07-22 1147
BPBPBP神经网络 1.激活函数 ​ 激活函数（Activation Function）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解复杂的非线性函数，具有十分重要的作用。 ​ 如果不使用激活函数，每一层输出都是上一层输入的线性运算，无论神经网络有多少层，最终的输出只是输入的线性组合，相当于感知机。如果使用了激活函数，将非线性因素引入到网络中，使得神经网络可以任意逼近任何非线性函数，能够应用到更多的非线性模型。 常用的激活函数 sigmo
（知乎）人工神经网络中的activation function的作用具体是什么？ReLu的特点?
lixiaoguang20的博客
12-26 1468
作者：Begin Again 链接：https://www.zhihu.com/question/29021768/answer/43488153 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，
神经网络基础——激活函数的选择、参数初始化
最新发布
linxinyide的博客
02-20 1194
神经网络基础概述，介绍各个激活函数以及选择方法，包括sigmoid、tanh、ReLU、SoftMax等，了解参数初始化的各种方法及如何选择，主要包括kaiming、xavier等。
BP神经网络Matlab实现，带GUI界面，多种激活函数
03-15
BP神经网络Matlab实现，带GUI界面，多种数据选择，多种激活函数选择。主要是熟悉各种参数对神经网络的影响。相关介绍http://blog.csdn.net/hoho1151191150/article/details/79570281
神经网络中的激活函数及其各自的优缺点、以及如何选择激活函数
JacksonKim的博客
05-12 1万+
文章转载自：https://zhuanlan.zhihu.com/p/71882757 1.什么是激活函数？ 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。 2.为什么要用激活函数？ 如果不
BP神经网络（五）——激活函数的选择
freeline的博客
03-01 8559
神经网络隐藏层的激活函数的选择，一步步理解并实现全连接神经网络——激活函数的选择
神经网络常见的激活函数,神经网络中的激活函数
kfc67269的博客
08-12 7456
正在上传…重新上传取消。
通用化BP神经网络-激活函数
Rick_rui的博客
05-31 5904
学习来源：日撸 Java 三百行（71-80天，BP 神经网络））_闵帆的博客-CSDN博客 1. 激活函数与求导式 激活函数是改变BP神经网络线性特征的转换函数, 是用于forward进行预测的关键一步. 而求导是通过激活函数得到的最终结果与目标值的偏差的偏导, 这个求导目标是边权, 但是通过链式法则, 最终会影响到对激活函数的求导. 1.1Sigmod函数 Sigmoid的导函数: 定义域为(−∞,+∞), 值域为(0,1), 随着定义域取值的变大, 函数...
激活函数
weixin_30681121的博客
11-24 144
理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数，而且这都是已经在数学上证明过的问题。 但sigmoid函数相对其他函数有它自身的优点，比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示 。 这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数 。 多层就有多个导数，如果用一般的连续函数，这对计算机的存储和运...
神经网络的激活函数总结
08-13
激活函数在神经网络中具有重要的地位。在SIGAI之前的公众号文章“理解神经网络的激活函数”中，我们回答了3个关键的问题： 为什么需要激活函数？ 什么样的函数能用作激活函数？ 什么样的函数是好的激活函数？ 这篇文章从理论的角度介绍了激活函数的作用。承接上篇，在今天这篇文章中，SIGAI将为大家介绍当前深度学习中常用的一些激活函数，包括它们的工程实现。我们将以Caffe为例。
Pytorch中的激活函数
01-20
所以需要激活函数来引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，增加了神经网络模型泛化的特性。 一般只有在输出层有极小的可能性使用线性激活函数，在...
LeNet-5，卷积神经网络模型
06-05
LeNet-5手写字识别实验：LeNet-5是一个经典的卷积神经网络模型，由Yann LeCun等人于1998年提出。它是首个广泛应用于手写数字识别任务的卷积神经网络模型，并在该任务上取得了很好的性能。LeNet-5模型使用了sigmoid...
一种基于忆阻激活函数的递归神经网络及其联想记忆
03-23
数, 提出了一种基于忆阻激活函数的递归神经网络模型. 最后, 实现了二值、三值静态图像的自联想记忆和异联想记忆, 并且通过仿真实现了字母图像中的字母移动, 因而实现动态图像的联想记忆. 该研究能简化递归神经网络...
已学习确定性神经网络模型
03-17
神经网络模型 # 确定性神经网络模型 确定性神经网络模型是一种神经网络模型，...总之，确定性神经网络模型是一种非常有用的神经网络模型，可用于许多需要准确预测的任务中。它由多个层组成，每个层包含多个节点，并使
为神经网络选择正确的激活函数
热门推荐
deephub
01-21 1万+
我们都知道神经网络模型中使用激活函数的主要目的是将非线性特性引入到我们的网络中，强化网络的学习能力。激活函数应用于隐藏层和输出层中每个节点的称为 z 的输入加权和（此处输入可以是原始数据或前一层的输出）。 在本篇文章中我们将讨论神经网络中常见的激活函数，并使用可视化技术帮助你了解激活函数的函数定义和不同的使用场景。 在看完本文章后，你可以将清楚地了解何时使用哪种激活函数，并了解不同激活函数的定义。 神经网络中不同层的激活函数 神经网络通常由三种类型的层组成：输入层、隐藏层和输出层。 输入层只保存输入数据，
备战数学建模十三之BP神经网络
index00101的博客
08-06 370
主要参考 https://aistudio.csdn.net/62e38a59cd38997446774c00.html?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Eactivity-1-80446692-blog-123795429.pc_relevant_multi_platform_whitelistv3&depth_1-utm_source=
神经网络引入了非线性,采用非线性的激励机制
super339的博客
08-10 194
如果使用线性激活函数或者没有使用一个激活函数，那么无论神经网络有多少层一直在做的只是计算线性函数，线性隐层一点用也没有，因为这两个线性函数的组合本身就是线性函数，所以除非引入非线性，否则无法计算非线性的函数，即使网络层数再多也不行；如果使用线性激活函数或者没有使用一个激活函数，那么无论神经网络有多少层一直在做的只是计算线性函数，线性隐层一点用也没有，因为这两个线性函数的组合本身就是线性函数，所以除非引入非线性，否则无法计算非线性的函数，即使网络层数再多也不行；当n≥2时，f(x)就成为非线性函数了。...
bp神经网络 激活函数的选择
05-22
在BP神经网络中，激活函数的选择非常重要，因为它可以决定神经元的输出值。以下是常用的激活函数： 1. Sigmoid函数：Sigmoid函数常用于二分类问题中，其输出值在0到1之间。 2. Tanh函数：Tanh函数也常用于二分类问题中，其输出值在-1到1之间。 3. ReLU函数：ReLU函数主要用于解决梯度消失问题，可以加速网络的收敛速度。 4. Leaky ReLU函数：Leaky ReLU函数是对ReLU函数的改进，可以解决ReLU函数在负数部分的问题。 5. Softmax函数：Softmax函数常用于多分类问题中，可以将神经元的输出转化为概率值。 在实际应用中，需要根据具体问题选择适合的激活函数。同时，也可以尝试不同的激活函数组合，以获得更好的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值