《百面机器学习》读书笔记
神经网络中的激活函数
引用书中的一段话
“真实情况中, 我们往往会遇到线性不可分问题(如XOR异或函数) , 需要非线性变换对数据的分布进行重新映射。 对于深度神经网络, 我们在每一层线性变换后叠加一个非线性激活函数, 以避免多层网络等效于单层线性函数, 从而获得更强大的学习与拟合能力。”
Sigmoid / Tanh / ReLU(主流的中间层激活函数)
Sigmoid及Tanh在变量值很大或者很小时,会出现梯度消失的现象。ReLU具备非饱和性及单侧抑制能力。
损失函数
分类问题:交叉熵损失(最后一层激活函数sigmoid或者softmax)
回归问题:平方损失
训练技巧
参数初始化:随机分布
Dropout: 抑制过拟合,提高模型泛化能力
BN层:不使用BN层的情况下,由于每一层的输入数据(前一层的输出数据)分布不同,所以每一批数据的分布都不同,神经网络的每一次迭代都需要拟合一个新的特征分布,BN层相当于强制把前一层的输出做归一化(标准差为1,均值为0)喂给后面一层,让整体数据(网络中间的数据,不仅仅是最初的输入)同分布。这种操作会提高训练速度,并且使得网络的泛化能力变强,但是拟合能力变弱(毕竟干扰了网络实实在在学习到的分布),因此,最后再引入变换重构,让网络学习重构参数。(https://blog.csdn.net/weixin_43593330/article/details/105567304)
残差结构:
网络太深会导致梯度消失(梯度很小,连乘过后,网络起始输入部分的参数梯度基本没有了)。
1. 将靠近输入的网络层短接到靠近输出的网络层,解决网络太深从而梯度消失的问题,输入层的参数可以被更新。
2. 如果X已经较好的拟合了目标,那么在中间多加一层不会让模型变得更差,因为X已经被短接到两层之后,相当于为模型的最终输出保留了X的信息,中间的部分只需要拟合真实目标与X的残差。