激活函数的选择

最新推荐文章于 2024-07-09 15:08:01 发布
最新推荐文章于 2024-07-09 15:08:01 发布
阅读量1.7k 收藏 3
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Muzi_Water/article/details/82012281
版权

在训练神经网络中，绝大部分的调优都在于网络的构建和学习率的设定，但是激活函数和损失函数的不同选择也会带来不同的训练效果，合适的激活函数往往会带来较好的结果。

    对于非线性激活来说，中间的隐藏层普遍使用ReLU及其变体（如LReLU、PReLU、RReLU等），输出层激活函数则是要根据任务配合损失函数loss来选择。通常来说"多分类"问题的输出层激活函数选用softmax，"二分类"问题的输出层激活函数选用sigmoid，分类问题的损失函数选用交叉熵cross_entropy。然而，对于"回归"问题通常输出层的激活函数选用linear线性激活函数，损失函数选用L2正则化的均方误差或者余弦距离。需要注意的是，对于图片检索，对话生成，都有使用于各自的loss函数，需根据大牛论文学习使用。

当网络出现''梯度消失"问题时，要避免使用sigmod激活函数和tanh激活函数



 

Muzi_Water
关注
专栏目录
AI人工智能深度学习算法：权重初始化与激活函数选择
程序员光剑
06-20 781
1.背景介绍 深度学习，作为人工智能的核心技术，已经在诸多领域取得了重大的突破。然而，深度学习模型的训练过程却充满了挑战，权重初始化和激活函数选择是其中的两个关键因素。这两者的选择会直接影响到模型的训练速度、准确性和稳定性。本文将深入探讨权重初始化和激活函数选择对深度学习模型性能的影响，并提供一些实用的建议。
【神经网络】激活函数的选择
风口IT猪的成长录
08-12 2413
神经网络：激活函数1. 激活函数的选择2. 为什么需要非线性的激活函数？3. 优化算法 1. 激活函数的选择 涉及到网络的优化时候，会有不同的激活函数选择有一个问题是神经网络的隐藏层和输出单元用什么激活函数。之前我们都是选用 sigmoid 函数，但有时其他函数的效果会好得多，大多数通过实践得来，没有很好的解释性。 请参考：初识：神经网络 可供选用的激活函数有： tanh 函数（the hyperbolic tangent function，双曲正切函数）： 效果比 sigmoid 函数好,因为函数输
深度学习中激活函数的选择
浅梦的学习笔记
10-01 3093
本文介绍了深度学习引入非线性激活函数的原因，和几种常用的激活函数，sigmoid,tanh,relu,leaky relu,prelu,maxout.
深度学习（五）激活函数的选择 & 浅层神经网络的梯度下降
Sunwish的博客
08-27 1325
概述 本篇中你将了解几种常见的激活函数，并看到在浅层神经网络中向后传播及梯度下降是如何进行的。 原文地址：深度学习（五）激活函数的选择 & 浅层神经网络的梯度下降 5.0 上篇回顾 在上一篇中，你见到了一个单输出的浅层（双层）神经网络是如何进行向前传播的，就同 Logistic 回归网络一样，不过多重复了几次单层网络的向前传播过程而已。 对于隐藏层而言，所有的隐藏单元与输入层...
机器学习（十五）：常见的激活函数及如何选择
最新发布
weixin_45733884的博客
07-09 258
当 z ≥ 0时，g(z) = z，当 z＜0时，g(z) = 0。当处理二进制分类问题时，激活函数优先选择Sigmoid函数，预测y=1的概率。当处理回归问题，y可以是正数，也可以是负数时，激活函数优先选择线性函数。：输入一个值x，如果隐藏层和输出层的激活函数都选择线性函数：g(z)=z。：如果隐藏层的激活函数都是线性函数，输出层的激活函数是Sigmoid函数。仍然是输入值x的线性函数，输出层的激活函数仍然是Sigmoid函数。可以得到，线性函数的线性函数本身是线性函数。，相当于隐藏层没有起什么作用。
BP 网络激活函数选择及在径流预报模型中的应用1
08-04
输入层通常不使用激活函数，而隐藏层和输出层的激活函数选择则对网络性能有很大影响。 【混合水平全排列组合试验方案】 为了探索最佳的激活函数组合，研究者设计了一种混合水平全排列组合试验方案。这种方案通过...
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 8840
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 2941
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
深度学习中的激活函数
wuxiaosi808的博客
09-26 4889
圈 摘要: 正如我们的人脑一样，在一个层次上和神经元网络中有数百万个神经元，这些神经元通过一种称之为synapses（突触）的结构彼此紧紧相连。它可以通过 Axons（轴突），将电信号从一个层传递到另一个层。这就是我们人类学习 ... 网络 模型 机器学习 神经网络 网络技术 函数 什么是人工神经网络？ 现在，我相信我们大家都很熟悉什么是A-NN了，但接下来请允许我按
如何选择激活函数
m0_46689661的博客
02-20 162
神经网络激活函数的选择问题：如何选择激活函数？
如何选择激活函数？
weixin_50153914的博客
02-29 722
选择神经网络的激活函数是一个重要的决策，因为激活函数的选择会影响到网络的收敛速度以及能否有效地训练。不同的激活函数适用于不同的任务和网络架构。
常见激活函数Activation Function的选择
tostq的专栏
02-24 1868
激活函数、ReLU、PReLU、Maxout、Swish、sigmoid、tanh、Tanhshrink、softshrink、hardshrink、ELU、Leaky ReLU、softsign、softplus、机器学习
如何选取正确的激活函数
qq_21294373的博客
03-13 2615
转自博客https://blog.csdn.net/mrjiale/article/details/81043697，可供参考
最新的激活函数如何选择
一千世界
09-11 256
激活函数其实并不简单：最新的激活函数如何选择？ (qq.com)
激活函数的选择：如何确定最佳激活函数以优化神经网络性能
程序员光剑
01-09 1193
1.背景介绍 神经网络是人工智能领域的一个重要研究方向，它通过模拟人脑中神经元的工作原理来实现自主学习和决策。激活函数是神经网络中的一个关键组件，它决定了神经元在不同输入下的输出值。在这篇文章中，我们将讨论如何选择最佳激活函数以优化神经网络性能。 2.核心概念与联系 2.1 激活函数的基本概念 激活函数是神经网络中的一个关键组件，它决定了神经元在不同输入下的输出值。激活函数的主要作用是将神...
神经网络输出函数解析与激活函数选择
"这篇讲义主要探讨了神经网络中的输出函数分析，强调了选择激活函数的重要性，要求函数具有良好的可导性以确保网络训练的快速收敛。讲义中还提到了一些神经网络的基础知识和相关教材推荐，旨在帮助学习者入门神经...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值