Sigmoid非线性激活函数,FM调频,胆机,HDR的意义

本文探讨了非线性激活函数Sigmoid在神经网络中的作用,并通过FM调频和胆机的例子,解释了非线性处理如何帮助增强感知体验。作者指出,FM调频和胆机的工作原理类似音频领域的HDR,通过调整信号强度,使原本不易察觉的细节变得明显。同时,这也挑战了传统的高保真理念,提出对于人类感官来说,有时失真处理可能带来更丰富的体验。
摘要由CSDN通过智能技术生成

        前几天家里买了个二手车子,较老,发现只有FM收音机,但音响效果不错,车子带蓝牙转FM,可以手机蓝牙播放音乐,但经过几次转换以及对FM的质疑,所以怀疑音质是否会剧烈下降,抱着试试的态度放了一个手机上的音乐,结果感动的流泪了,为什么以前手机带的高保真耳机中遗失了那么多精彩内容,高保真音响,高保真功放.....为何不敌即将淘汰的车载的FM...

          记得中学的时候经常看电子类书籍,对各种音响电路都很着迷,那是后流行高保真这一概念,各种信号补偿带通滤波反馈控制算法,就为了让声音能够真实的还原出来,特别鄙视那些玩胆机的人,认为他们不懂理论,只是固执与迷信,后来学习神经网络知道了人类神经元的Sigmoid激活函数,但不慎理解,认为这是人类感官系统的缺陷,工作在非线性的模式分类中将失去认识真实世界的能力。

 

 

线性激活函数非线性激活函数神经网络中常用的两种类型的激活函数。 线性激活函数是指输出与输入之间存在线性关系的激活函数。常见的线性激活函数有恒等函数(identity function),即f(x) = x。线性激活函数的特点是输出的范围与输入的范围相同,不具备非线性变换的能力。因此,线性激活函数神经网络中的作用有限,主要用于回归任务或者作为输出层的激活函数非线性激活函数是指输出与输入之间不存在线性关系的激活函数。常见的非线性激活函数Sigmoid函数、Tanh函数、ReLU函数、Leaky ReLU函数和Softmax函数等。这些非线性激活函数能够引入非线性变换,增加神经网络的表达能力,使其能够更好地适应复杂的数据模式和任务。 Sigmoid函数和Tanh函数是常用的非线性激活函数,它们在二分类任务的输出层和模型的隐藏层中使用。Sigmoid函数将输入映射到(0,1)区间内,Tanh函数将输入映射到(-1,1)区间内。它们的优点是输出范围有限,可以用作概率估计或者对称性的处理,但是由于梯度消失的问题,在某些情况下需要避免使用。 ReLU函数是一种常见的非线性激活函数,目前在神经网络中使用最广泛。它将负输入值映射为0,将正输入值保持不变。ReLU函数的优点是计算简单,能够有效地缓解梯度消失的问题。但是它也存在一个问题,即可能导致神经元的死亡,即负输入值对应的梯度为0,导致神经元无法更新。为了解决这个问题,可以使用Leaky ReLU函数,它在负区域具有小的正斜率,可以进行反向传播。 Softmax函数是一种用于多分类任务输出层的非线性激活函数。它将多个神经元的输出映射到(0,1)区间内,可以看作是当前输出属于各个分类的概率。Softmax函数的优点是除了用于二分类还可以用于多分类,增加了区分对比度,学习效率更高。但是它也存在一个缺点,即无法为正负输入值提供一致的关系预测。 综上所述,线性激活函数适用于回归任务或者作为输出层的激活函数非线性激活函数适用于隐藏层和多分类任务的输出层。具体选择哪种激活函数要根据具体的任务和数据特点来决定。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AthlonxpX86

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值