如果我们用了一个过大的学习速率会发生什么?
A、神经网络会收敛
B、不好说
C、都不对
D、神经网络不会收敛
正确答案是:D
解析
学习率过大,会使得迭代时,越过最低点。学习率即求导梯度前的系数,若学习率过大则参数更新过大,越过最低点导致无法收敛。
在一个神经网络中,下面哪种方法可以用来处理过拟合?
A、Dropout
B、分批归一化(Batch Normalization)
C、正则化(regularization)
D、都可以
正确答案是:D
解析:
都可以。对于选项C,分批归一化处理过拟合的原理,是因为同一个数据在不同批中被归一化后的值会有差别,相当于做了data augmentatio。
批规范化(Batch Normalization)的好处都有啥?
A、让每一层的输入的范围都大致固定
B、它将权重的归一化平均值和标准差
C、它是一种非常有效的反向传播(BP)方法
D、这些均不是
- 批量归一化(Batch Normalization简称BN,其中,Normalization是数据标准化或归一化、规范化,Batch可以理解为批量,加起来就是批量标准化。解决在训练过程中中间层数据分布发生改变的问题,以防止梯度消失或爆炸、加快训练速度)