人工神经网络笔记（二）梯度爆炸与消失、批量归一化、过拟合问题

人工神经网络笔记（二）梯度爆炸与消失、批量归一化、过拟合问题

• Gradient exploding and vanishing
• Mini-batch issue
• Over-fitting issue

1、Gradient exploding and vanishing

1.1 模型训练过程

STEP0: 预设超参数

STEP1: 初始化模型参数

STEP2: 重复训练过程（次数为epoch）

STEP3: 保存模型

1.2 梯度爆炸与消失问题

在上图这个简单的神经网络模型中，由链式法则推导，$\frac{\partial l}{\partial w_1}=\frac{\partial l}{\partial h_l}(\frac{\partial h_l}{\partial u_l}\frac{\partial u_l}{\partial h_{l-1}})......(\frac{\partial h_1}{\partial u_1}\frac{\partial u_1}{\partial w_1})=\frac{\partial l}{\partial h_l}(g^{{}^{\prime }}(u_l)w_l)......(g^{{}^{\prime }}(u_1)x)$

若$g^{{}^{\prime }}(u_i)w_i>1$恒成立，那么$|\frac{\partial l}{\partial w_1}|>>$