神经网络 梯度消失 梯度弥散 网络欠拟合 过拟合

梯度消失，没法反向传播了，网络就无法训练了。

原因，激活函数的饱和区间,常用的有饱和区间的激活函数，sigmoid，tanh,softmax, 所以中间层尽量不适用这种激活函数，使用Relu系列的解决； 奇异样本引起, 可以使用标准化（零中心化>数据 - 平均值 ， 和 归一化>数据变小，分布不变，奇异样本影响就小了）来解决；层数太深的话，反向传播时（数学角度看的话，是梯度连乘），浅层（靠近输入层的）网络会梯度消失,  可以加入残差网络来避免梯度消失；

欠拟合：

1， 数据特征项提取的不够（针对ML,DL自动提取特征）

2. 训练时间不够（DL）, 可以增加训练时间，使模型获取更多特征

3.模型过于简单(DL）, 无法提取到数据的高位特征，加深模型以获取更多特征

4.减少正则化参数，正则化目的是防止过拟合的

 

过拟合：

经常发生的

1. 数据的噪声过大， 

2.训练数据过少，少量数据拟合很好了，但是他不够代表整体样本分布，

3. 模型训练过度，模型过于复杂，噪声也一块学习到了

解决方法

1.清洗数据，降低噪声。重新标注，2. 增加样本量

3.采用正则化， 主要包含L1和L2正则，一般是在损失之后加，他是损失函数的惩罚项

L1和L2的正则区别，首先数学上来讲，L1是所有权重的绝对值的和，L2是所有权重的平方的和开根号

首先要先了解模型的复杂度，是和参数的向量有关的，参数越多模型越复杂，所以我们做正则化，

实际是可以让模型参数趋近于0或者等于0，相当于模型参数减少，这样模型复杂度降低。

L1正则有稀疏性，即更容易有参数为0，