论文解读
文章平均质量分 96
.
海洋 之心
阿里云社区专家博主,图神经网络-大数据-推荐系统研究者,专注于计算机领域前沿技术的分享等人工智能算法研究工作
展开
-
【深度学习系列】(二)--An overview of gradient descent optimization algorithms
文章目录一、摘要二、介绍三、梯度下降变体3.1 批量梯度下降(Batch gradient descent)3.2 随机梯度下降(Stochastic gradient descent)3.3 小批量梯度下降(Mini-batch gradient descent)四、面临的困难五、梯度下降优化算法5.1 动量(Momentum)5.2 Nesterov accelerated gradient5.3 Adagrad5.4 Adadelta5.5 RMSprop5.6 Adam5.7 算法的可视化5.8 使原创 2021-11-26 22:06:28 · 566 阅读 · 0 评论 -
【深度学习论文解读系列】(一)--Dropout原理剖析
文章目录Dropout: A Simple Way to Prevent Neural Networks from overfitting一、摘要二、介绍三、动机四、模型描述五、学习Dropout网络ReferencesDropout: A Simple Way to Prevent Neural Networks from overfitting一、摘要具有大量参数的深度神经网络是非常强大的机器学习系统。然而,在这样的网络中,过度拟合是一个严重的问题。大型网络的使用速度也很慢,因此很难在测试时通过组原创 2021-11-24 12:01:14 · 2358 阅读 · 0 评论