Torch中optim的sgd(Stochastic gradient descent)方法的实现细节
Overview
sgd的全称是Stochastic gradient descent,关于Stochastic gradient descent我们不在本文详述。
Stochastic gradient descent
https://en.wikipedia.org/wiki/Stochastic_gradient_descent#cite_note-1
关于本文解释的代码传送门
https://github.com/torch/optim/blob/master/sgd.lua#L63
参数解释
输入参数
首先sgd的参数有三个,1)opfunc;2)x;3)config;4)state
1)opfunc&x:第一个参数opfunc是一个求cost function以及cost function针对于权重的导数的函数,而这个函数的参数就是sgd的第二个参数x了。
举个例子,对于一个sample x=[