![](https://img-blog.csdnimg.cn/3e1667d1331a40859a34bf2c2aff4763.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI
文章平均质量分 91
ufy
Algorithm Designer
展开
-
深度学习之损失函数
深度学习之损失函数原创 2022-10-10 16:43:54 · 1152 阅读 · 0 评论 -
深度学习之优化器
深度学习之优化器Optimizers是在网络训练时,对网络权重进行更新,使得模型最优化loss,现阶段主流的深度学习优化器是基于梯度的优化方法,代表有:SGD,Momentum,AdaGrad,Adam,Nesterov,RMSprop等。SGD – 随地梯度下降法(Stochastic Gradient Descent)从数学知识可知,函数朝着梯度方向上升最快,梯度反方向下降最快。而在深度学习的目标中,是最小化loss。直觉上可以想到能使用梯度下降方法,来最优化loss。形式上,我们可以将SGD原创 2022-03-30 16:49:12 · 8138 阅读 · 2 评论