Caffe
csuhoward
这个作者很懒,什么都没留下…
展开
-
Caffe Solver理解篇(1) 主体和SGD
参考译本,第四章:Solver第一节作用: 协调Net的前向推断计算和反向梯度计算,更新参数,从而减小loss。(Net具有计算的作用,Solver定义了用什么方法优化整个网络。)3点应用:(1)记录优化过程;(快照)(2)创建训练网络;(学习)(3)创建测试网络;(评估)6个支持:SGD, AdaDelta, AdaGrad, Adam, Nest原创 2016-11-17 15:27:03 · 2380 阅读 · 0 评论 -
Caffe 理解blob之SyncedMen类同步CPU和GPU
caffe中文社区给的官网译本说到:数据既可存储在CPU上,也可以存储在GPU上,因此有两种数据访问方式:静态方式,不改变数值;动态方式,改变数值。const Dtype* cpu_data() const;Dtype* mutable_cpu_data();const Dtype* foo;Dtype* bar;//assume init data equal to 0, and e原创 2016-11-09 17:06:12 · 2667 阅读 · 3 评论 -
Caffe Solver理解篇(2) SGD, AdaDelta, Ada-Grad, Adam, NAG, RMSprop 六种梯度下降方法横向对比
第一节 SGD 随机梯度下降 Stochastic gradient descent利用负梯度方向来更新权重W:加入了动量momentum μ后:第二节 AdaDelta 出自M. Zeiler - ADADELTA: An adaptive learning rate method.用一阶导去估计海森矩阵的方法,但是是来源于Ada-Gra原创 2016-11-21 10:51:53 · 15521 阅读 · 1 评论