过拟合初探
傻傻的看着
这个作者很懒,什么都没留下…
展开
-
L1和L2正则化在pytorch中的应用
最近在自己改写网络的过程中,发现了很多的问题,有一个比较大的问题就是过拟合问题,过拟合问题不仅出现在小数据量的训练中,在大数据量的训练中也有着同样的问题,今天测试了L1和L2正则化,效果还在实验中,如果效果比较好会在后面做及时的更新。L1正则化:L1 正则化公式也很简单,直接在原来的损失函数基础上加上权重参数的绝对值:上式可知,当w大于0时,更新的参数w变小;当w小于0时,更新的参...原创 2019-03-23 13:24:12 · 1706 阅读 · 0 评论 -
数据洗牌
在实验过程中,可能出现海量数据但是过拟合的现象,这种情况可能是由于train数据和val/test的数据差别较大引起的。在这种情况下可以进行数据洗牌,即通过重新调整数据,将数据重新打乱按照之前的分配比例重新分割数据,形成新的train/val/test这种方式不会损坏数据原有的结构,可能消除过拟合的现象。详细代码如下:#coding=utf-8import numpy as npim...原创 2019-03-23 22:44:14 · 1533 阅读 · 0 评论 -
正则化基础原理
在一个深度网络的设计过程中,norm层的存在是不可或缺的,缺少norm层会有很大可能造成梯度震荡(梯度消失或爆炸),然而如何选择norm层,需要考虑到norm层本身的特点和前一层输出的响应值分布。不同的深度模型方法需要不同的norm方法来适应自己的网络。Batch Normalizationbatch normalization是最近几年深度学习领域中最重要的成果之一,它的使用有效的加快了...原创 2019-06-28 13:53:55 · 250 阅读 · 0 评论