梯度消失,没法反向传播了,网络就无法训练了。
原因,激活函数的饱和区间,常用的有饱和区间的激活函数,sigmoid,tanh,softmax, 所以中间层尽量不适用这种激活函数,使用Relu系列的解决; 奇异样本引起, 可以使用标准化(零中心化>数据 - 平均值 , 和 归一化>数据变小,分布不变,奇异样本影响就小了)来解决;层数太深的话,反向传播时(数学角度看的话,是梯度连乘),浅层(靠近输入层的)网络会梯度消失, 可以加入残差网络来避免梯度消失;
欠拟合:
1, 数据特征项提取的不够(针对ML,DL自动提取特征)
2. 训练时间不够(DL), 可以增加训练时间,使模型获取更多特征
3.模型过于简单(DL), 无法提取到数据的高位特征,加深模型以获取更多特征
4.减少正则化参数,正则化目的是防止过拟合的
过拟合:
经常发生的
1. 数据的噪声过大,
2.训练数据过少,少量数据拟合很好了,但是他不够代表整体样本分布,
3. 模型训练过度,模型过于复杂,噪声也一块学习到了
解决方法
1.清洗数据,降低噪声。重新标注,2. 增加样本量
3.采用正则化, 主要包含L1和L2正则,一般是在损失之后加,他是损失函数的惩罚项
L1和L2的正则区别,首先数学上来讲,L1是所有权重的绝对值的和,L2是所有权重的平方的和开根号
首先要先了解模型的复杂度,是和参数的向量有关的,参数越多模型越复杂,所以我们做正则化,
实际是可以让模型参数趋近于0或者等于0,相当于模型参数减少,这样模型复杂度降低。
L1正则有稀疏性,即更容易有参数为0,