算法面经细节（更新）

Q：训练神经网络的，什么时候early stopping。（vivo一面，挂）
A：《西瓜书》105页：“将数据分成训练集和验证集（validation set），训练集用于计算梯度、更新连接权（w）和阈值（b），验证集用于估计误差。若训练集误差降低但验证集误差升高，则停止训练。同时返回具有最小验证集误差的w和b”。
Q：神经网络如何避免过拟合？（拼多多二面，挂）
A：通常避免过拟合的方法都能使用：

1. 加大数据量。
2. 降低模型复杂度。
3. 参数正则化
4. early stopping
5. dropout

（在面试的时候说了batch normalization……估计因为这个挂了）
Q：怎样防止梯度消失？

1. BN
2. ResNet
3. ReLU

BN使得每一层神经网络的输入保持相同分布。这样