神经网络训练
qq_42017498
这个作者很懒,什么都没留下…
展开
-
如何避免网络陷入局部最优
如何避免网络陷入局部最优1、多组随机初始化参数,选择结果最好的2、随机梯度下降法(因为随机因子存在)3、模拟退火法(允许在当前点的一定范围内寻找其他点,选择最优的)原创 2020-10-07 10:01:06 · 2221 阅读 · 0 评论 -
可以在这样解决过拟合!
过拟合的解决方法:1、正则化(L1,L2) L1:全部权重W的绝对值之和,乘以λ/n, L2:又名权重衰减。(全部权重W的平方和)/(训练集样本总数n)。λ是一个比例系数,表示正则项与原始loss(C0)的一个比重。1/2为了方便计算而已。L1、L2正则都可以让学习到的权重W变小,在某种意义上可以降低模型的复杂度。只不过L1通过绝对值最小的方式实现,而L2通过平方和最小的方式实现。L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近...原创 2020-10-06 10:24:35 · 199 阅读 · 1 评论