神经网络激活函数以及过拟合欠拟合理解

一、过拟合

就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，在验证数据集以及测试数据集中却表现不佳。

导致这种现象的原因有以下2种：

①数据集特征单一，或者数据量过少

    可以丰富数据集

②网络层数较深，参数过多

    适当的减少网络层数，激活函数使用relu也是一种方法，因为他会将小于0的部分全部归为0，从而造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生

 

二、欠拟合

就是所建的模型在训练样本中的表现都很一般

    可以通过增加网络复杂度或者在模型中增加多点特征点

 

三、激活函数

作用：通过激活函数，神经网络就可以拟合各种非线性曲线，所以激活函数肯定都是非线性的

① sigmod

 

②tanh