1.防止过拟合的方法:
提前终止(当验证集上的效果变差的时候),early stopping
L1和L2正则化加权
soft weight sharing
dropout
2.dropout率的选择
经过交叉验证,隐含节点dropout率等于0.5的时候效果最好,原因是0.5的时候dropout随机生成的网络结构最多。
dropout也可以被用作一种添加噪声的方法,直接对input进行操作。输入层设为更接近1的数。使得输入变化不会太大(0.8)
1.防止过拟合的方法:
提前终止(当验证集上的效果变差的时候),early stopping
L1和L2正则化加权
soft weight sharing
dropout
2.dropout率的选择
经过交叉验证,隐含节点dropout率等于0.5的时候效果最好,原因是0.5的时候dropout随机生成的网络结构最多。
dropout也可以被用作一种添加噪声的方法,直接对input进行操作。输入层设为更接近1的数。使得输入变化不会太大(0.8)