目录
训练,验证,测试集(Train/Dev/Test sets)
为什么压缩𝐿2范数,或者弗罗贝尼乌斯范数或者参数可以减少过拟合?
改善深层神经网络:超参数调试、正则化以及优化
深度学习的实践层面
训练,验证,测试集(Train/Dev/Test sets)
Highly iterative process 高度迭代的过程
如果只有100条,1000条或者1万条数据,常见做法是将所有数据三七分,就是人们常说的70%验证集,30%测试集,如果没有明确设置验证集,也可以按照60%训练,20%验证和20%测试集来划分。
假设我们有100万条数据,其中1万条作为验证集,1万条作为测试集,100万里取1万,比例是 1%,即:训练集占98%,验证集和测试集各占1%。对于数据量过百万的应用,训练集可以占到99.5%,验证和测试集各占0.25%,或者验证集占0.4%,测试集占0.1%。
尽量要确保验证集和测试集的数据来自同一分布
偏差和方差
假设这就是数据集,如果给这个数据集拟合一条直线,会出现高偏差的情况,我们称为“欠拟合”。拟合一个非常复杂的分类器,方差较高,数据过度拟合。最好的情况为适度拟合。
二维空间可以如上图可视化表示,但在多维空间数据中,绘制数据和可视化分割边界无法实现。
如果训练集误差和最优误差相差较大,则偏差较高,如果验证集误差和训练集误差相差较大,则方差较大
机器学习基础
权衡方差和偏差的问题
正则化
针对过拟合(高方差)的问题:正则化、more data
这里对w进行L2正则化,是向量参数𝑤的欧几里德范数(2范数)的平方
为什么只正则化参数𝑤?为什么不再加上参数 𝑏 呢?
因为𝑤通常是一个高维参数矢量,已经可以表达高偏差问题,𝑤可能包含有很多参数,b是否进行正则化已经无关紧要
𝐿1正则化:参数𝑤向量的𝐿1范数为绝对值求和
如果用的是𝐿1正则化,𝑤最终会是稀疏的,也就是说𝑤向量中有很多0,有人说这样有
利于压缩模型,因为集合中参数均为0,存储模型所占用的内存更少。实际上,虽然𝐿1正则化使模型变得稀疏,却没有降低太多存储内存,所以我认为这并不是𝐿1正则化的目的,至少不是为了压缩模型,人们在训练网络时,越来越倾向于使用𝐿2正则化。
在神经网络中进行正则化
矩阵范数被称为“弗罗贝尼乌斯范数”,它表示一个矩阵中所有元素的平方和
加入到dw中
权重衰减:进行化简推导得出,实则在原来的参数更新的基础上,先对w乘上一个小于1的系数。
为什么正则化有利于预防过拟合呢?
为什么压缩𝐿2范数,或者弗罗贝尼乌斯范数或者参数可以减少过拟合?
如果正则化𝜆设置得足够大,权重矩阵𝑊被设置为接近于0的值,直观理解就是把多隐藏单元的权重设为0,于是基本上消除了这些隐藏单元的许多影响。
整个神经网络结构是线性运算+激活函数,如果𝜆很大,则w会变得较小,对应的输入会很小,那么激活函数在某一段内会近似于线性函数,此时整个神经网络从非线性向线性转化。
在计算梯度下降时,使用新定义的代价𝐽函数,它应该包含第二个正则化项
还有一种方法也用到了正则化,就是dropout正则化
dropout 正则化。
随机失活:遍历网络的每一层,并设置消除神经网络中节点的概率。
反向随机失活(inverted dropout)
将获取的激活函数与我们生成的对应维度的0-1矩阵相乘,会随机使一部分激活函数变为0,对于输出结果我们需要去补偿我们消失的部分,/𝑘𝑒𝑒𝑝 – 𝑝𝑟𝑜𝑏,𝑘𝑒𝑒𝑝 – 𝑝𝑟𝑜𝑏即消失的概率。
在测试时不需要dropout。
1.dropout 的功能类似于𝐿2正则化,与𝐿2正则化不同的是应用方式不同会带来一点点小变化,甚至更适用于不同的输入范围。
2.该单元的输入也都可能被随机清除。所以不会给任何一个输入加上太多权重,因为它可能会被删除,因此该单元将通过这种方式积极地传播开,并为单元的各个输入增加一点权重,通过传播所有权重,dropout 将产生收缩权重的平方范数的效果
其他正则化方法
1.数据扩增:对图片进行翻转剪裁,对文字进行旋转
2. early stopping: 在中间点停止迭代过程。
预防过拟合还有其他任务,换句话说就是减少方差,这一步我们用另外一套工具来实现,这个原理有时被称为“正交化”。
Early stopping 的优点是,只运行一次梯度下降,你可以找出𝑤的较小值,中间值和较大值,而无需尝试𝐿2正则化超级参数𝜆的很多值。
归一化输入
假设一个训练集有两个特征,输入特征为 2 维,归一化需要两个步骤:
1.零均值
2.归一化方差。
为什么使用归一化处理输入?
归一化能够使我们的代价函数更加对称,这样我们在梯度下降更新的时候,能更快地收敛并且能够更准确地找到minimal。
梯度消失/梯度爆炸
在深度神经网络中,激活函数将以指数变化,同时与层数𝐿相关的导数或梯度函数,也是呈指数级增长或呈指数递减。
神经网络的权重初始化
能够一定程度上解决梯度的问题。希望能够使得设置的权重矩阵既不会增长过快,也不会太快下降到0,从而训练出一个权重或梯度不会增长或消失过快的深度网络
梯度的数值逼近
在实施 backprop 时,有一个测试叫做梯度检验,确保backprop正确实施。
双边误差:[𝑓(𝜃 + 𝜀) − 𝑓(𝜃 − 𝜀)] / 2 𝜀
梯度检验
对𝑑𝜃approx[𝑖]和 𝑑𝜃[𝑖]做运算,判断两者的接近程度来检验梯度是否计算正确