机器学习中激活函数的作用

激活函数在神经网络中起着至关重要的作用,它们引入非线性,使得多层网络能够处理更复杂的任务。如果没有激活函数,网络将等同于单层线性模型。常见的激活函数如sigmoid、ReLU及其变种,它们需要满足非线性、可微等条件,以增加网络的信息存储能力和建模能力。选择合适的激活函数对于避免梯度消失和梯度爆炸等问题也至关重要。
摘要由CSDN通过智能技术生成

前言

在使用机器学习算法模型中,激活函数的选择也是很重要的,但是对为啥使用激活函数却不太清楚。

激活的定义:
网络的每一层在输出时,都需要进行一次非线性变换,被称为激活。如果不进行激活,则网络中各层均进行线性变换。

激活函数作用

激活函数的作用,为啥使用激活函数的原因

  • 不使用激活函数的话,这样无论网络包含多少层,最终的输出都可以用输入的线性变换表示出来,也就和1层的线性网络没有差别了
    另一种说法:
    线性的表达能力太有限了,即使经过多层网络的叠加,y=ax+b无论叠加多少层最后仍然是线性的,增加网络的深度根本没有意义
  • 使用激活函数的话,非线性的变换能够让网络存储的信息大大增加,而非线性变换的方式并不固定。
  • 提供网络的非线性建模能力。加入激活函数,深度神经网络才能具备分层的非线性映射学习能力。
  • 激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题。

因此激活函数是神经网络不可或缺的一部分。

激活函数需要满足的条件

  • 非线性
  • 可微
  • 计算简单
  • 非饱和
  • 单调性
  • 输出有限
  • 参数少
  • 归一化
  • 1
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

nsq_ai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值