Caffe
csuhoward
这个作者很懒,什么都没留下…
展开
-
Caffe Solver理解篇(1) 主体和SGD
参考译本,第四章:Solver 第一节 作用: 协调Net的前向推断计算和反向梯度计算,更新参数,从而减小loss。 (Net具有计算的作用,Solver定义了用什么方法优化整个网络。) 3点应用: (1)记录优化过程;(快照) (2)创建训练网络;(学习) (3)创建测试网络;(评估) 6个支持: SGD, AdaDelta, AdaGrad, Adam, Nest原创 2016-11-17 15:27:03 · 2379 阅读 · 0 评论 -
Caffe 理解blob之SyncedMen类同步CPU和GPU
caffe中文社区给的官网译本说到: 数据既可存储在CPU上,也可以存储在GPU上,因此有两种数据访问方式: 静态方式,不改变数值;动态方式,改变数值。 const Dtype* cpu_data() const; Dtype* mutable_cpu_data();const Dtype* foo; Dtype* bar; //assume init data equal to 0, and e原创 2016-11-09 17:06:12 · 2667 阅读 · 3 评论 -
Caffe Solver理解篇(2) SGD, AdaDelta, Ada-Grad, Adam, NAG, RMSprop 六种梯度下降方法横向对比
第一节 SGD 随机梯度下降 Stochastic gradient descent 利用负梯度方向来更新权重W: 加入了动量momentum μ后: 第二节 AdaDelta 出自M. Zeiler - ADADELTA: An adaptive learning rate method. 用一阶导去估计海森矩阵的方法,但是是来源于Ada-Gra原创 2016-11-21 10:51:53 · 15519 阅读 · 1 评论