- 博客(2)
- 资源 (7)
- 收藏
- 关注
转载 深度学习超参数简单理解------>learning rate,weight decay和momentum
说到这些参数就会想到Stochastic Gradient Descent (SGD)!其实这些参数在caffe.proto中 对caffe网络中出现的各项参数做了详细的解释。 Learning Rate 学习率决定了权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率,因此后面3种参数都是基于自适应的思路提出的解决方案。后
2017-10-16 13:05:37 1270
原创 NVCaffe 0.16.2 多 GPU 训练过程代码分析
NVIDA在Caffe的基础上对其进行了优化,这篇文章主要是针对其多 GPU 训练过程中参数更新方式及通讯方法进行相关代码的学习,如有不正确之处请指正。 先放主要的参考文章 1. NVCaffe github 主页 2. 博主 @KFXW 之前写了NVcaffe源码阅读系列文章,给了我很大启发,非常感谢!! 3. 另一位博主 @沤江一流 对 (Caffe,LeNet)的训练过程作了
2017-10-16 11:22:09 4151
风辰的CUDA培训教程
2017-03-13
Knights Landing(KNL)简介
2016-11-14
基于51单片机的简易频率计数器程序
2014-10-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人