深度学习神经网络：改善与优化的方法

第一周

训练集 验证集 测试集

公认的比较好的比例是3：1：1，在数据量不是特别大的时候
当数据特别大的时候根据情况考虑
注意数据的分布性问题
训练集（train set） —— 用于模型拟合的数据样本。
验证集（development set）—— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。
测试集 —— 用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。

偏差和方差

偏差大：过度拟合 训练集误差小 验证集误差大
方差大：欠拟合 训练集和验证集误差都大
实际上有可能出现偏差大 方差也大的情况

根据方差和偏差调节网络

当偏差过高时可以尝试增加网络的大小，
当方差偏大时可以增加数据。

正则化

就是让w尽量小,L1正则化和L2正则化，L2正则化更常用

在神经网络中添加正则化项
等价于在损失函数后面添加正则化项
对损失函数求导的时候，正则化被单独求导
正则化项被加到dw中，计算表达式等价于一个衰减项，
会让w越来越小
正则化当中的lamda大小非常重要，控制着网络的大小
lamda太大时会导致w过小，w过小会导致激活函数几乎为线性函数，这会导致整个神经网络等价于一个线性函数

dropout 正则化

随机让一些网络结构失活，直接让节点的输出等于0
dropout方法相对于L2范数正则化可以避免参数的比例缩小问题
在测试阶段要避免使用dropout函数

为什么dropout可以工作

避免w权重全部落在某一个输入之上