神经网络学习笔记（一）

高方差、高偏差、正则化

高偏差

高方差在神经网络中的表现是欠拟合
表现：对训练集和测试集的误差都很高，训练集训练出来的参数对其本身和测试集都不是很契合，使得测试集和训练集的误差都很高

集	误差率
训练集	15%
测试集	16%

解决方法：

1. 添加其他特征项：模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。
2. 添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强
3. 减少正则化参数，正则化的目的是用来防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化参数。
4. 延长训练时间
5. 选择更好的优化算法或更优的结构
6. 增加神经网络的规模(增加神经网络的层数或者增加神经网络的单元)

高方差

高偏差在神经网络中表现得是_过拟合_
表现：当训练集和测试集的之间的误差差别很大，就是对训练集的数据过度的契合使得训练出来的参数对测试集反而没有很好的泛化能力导致形成了高方差

集	误差率
训练集	1%
测试集	15%

解决方法：

1. 获取更多的数据
2. 采用正则化
3. 更合适的神经网络结构