深度学习
瑾瑜将将
这个作者很懒,什么都没留下…
展开
-
优化方法总结比较(SGD,Momentum,Nesterov,Adagrad,Adadelta,RMSprop,Adam,Adamax,Nadam,DFP,BFGS)
随机梯度下降法Batch Gradient Descent在每一轮的训练过程中,BGD算法用整个训练集的数据计算loss的梯度,并用该梯度对模型参数进行更新:θt+1=θt+Δθ,Δθ=−η∗gt\theta_{t+1}=\theta_{t}+\Delta\theta, \Delta\theta=-\eta * g_{t}θt+1=θt+Δθ,Δθ=−η∗gt 优点loss若为凸函...原创 2020-04-08 01:06:20 · 753 阅读 · 1 评论 -
CUDA是什么-CUDA简介
在大家开始深度学习时,几乎所有的入门教程都会提到CUDA这个词。那么什么是CUDA?她和我们进行深度学习的环境部署等有什么关系?通过查阅资料,我整理了这份简洁版CUDA入门文档,希望能帮助大家用最快的时间尽可能清晰的了解这个深度学习赖以实现的基础概念。本文在以下资料的基础上整理完成,感谢以下前辈提供的资料:CUDA——“从入门到放弃”我的CUDA学习之旅——启程介绍一篇不错的CUDA入门博...原创 2020-03-10 11:15:18 · 51907 阅读 · 5 评论