![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DNN
ChristineC_
这个作者很懒,什么都没留下…
展开
-
Data Parallelism vs. Model Parallelism
在现在的DNN模型训练中,模型参数和训练数据量都大幅增加,因此需要使用multi-node(GPU) training来进行模型训练优化。Data Parallelism一般在batch数据上学习梯度训练模型,这样做的缺点是,因为每次学习到的梯度不一定代表全集梯度,所以模型收敛需要更多的时间。Data Parallelism的训练过程:在每一个GPU/Node上,使用相同的模型/参...原创 2020-04-22 14:45:56 · 764 阅读 · 0 评论 -
DNN训练技巧
Weight Constraint在训练过程中,weight constraint(比如L2 norm,max norm)能保证学到的权重较小,和weight penalty效果等价。如果权重较大,则说明模型从异常值里学到了噪音,容易导致模型过拟合、不稳定。在loss中加入weight penalty,当weight很大时,会增加penalty,loss也就变大,但是,weight penal...原创 2020-04-20 16:26:58 · 724 阅读 · 0 评论