机器学习总结(七):基本神经网络、BP算法、常用激活函数对比

本文深入探讨神经网络,包括为何使用神经网络解决非线性分类问题,对比Sigmoid、Tanh、ReLU和Maxout等激活函数的优缺点,详细解释误差逆传播(BP)算法,以及如何防止过拟合。此外,还介绍了初始化权重、学习率和正则化参数的设置策略,并提及RBF网络的基本原理。
摘要由CSDN通过智能技术生成

1.   神经网络

(1)为什么要用神经网络?

对于非线性分类问题,如果用多元线性回归进行分类,需要构造许多高次项,导致特征特多学习参数过多,从而复杂度太高。

(2)常用的激活函数及其优缺点

阶跃函数sgn(x)(理想,但不连续,不光滑);

Sigmoid函数(下图左):


优点:能够把输入的连续实值压缩到0到1之间;

缺点:(1)容易饱和,当输入非常大或非常小的时候,神经元的梯度就接近0了,这使得在反向传播算法中反向传播接近于0的梯度,导致最终权重基本没什么更新;(2)Sigmoid的输出不是0均值的,这会导致后层的神经元的输入是非0均值的信号,这会对梯度产生影响,假设后层神经元的输入都为正(e.g. x>0elementwise in f=wTx+b),那么对w求局部梯度则都为正,这样在反向传播的过程中w要么都往正方向更新,要么都往负方向更新,导致有一种捆绑的效果,使得收敛缓慢。  

解决方法:注意参数的初始值设置来避免饱和情况。

Tanh函数(下图右):

 优点:0均值,能够压缩数据到-1到1之间;

 缺点:同Sigmoid缺点第二个,梯度饱和;


ReLU函数</

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值