深度学习中如何选择好的优化方法(optimizer)【原理】
除了随机梯度初始化(SGD),在深度学习中还有很多其他的方法可以对网络进行优化1. 减少网络收敛时间2. 除了学习率(learning rate)还有更多其他的参数3. 比SGD到达更高的分类准确率一. 自适应学习率为了更好的理解优化的方法,这里我们都是用伪代码的方式来进行描述。首先,我们先来看我们最熟悉的SGD的方法W += -lr * dW其中我们有三个变量:1. W:权值矩阵2. lr:学习...

新星杯·14天创作挑战营·第9期
这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛! 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见 https://bbs.csdn.net/topics/619626357 2、文章质量分查询:https://www.csdn.net/qc
