- 博客(3)
- 资源 (22)
- 收藏
- 关注
原创 对随机梯度下降的一些使用心得
1:对于随机梯度下降SGD可能大家都比较了解,也很熟悉,说起来也很简单,在使用中我们一般用的是带mini batch的SGD。这个也描述起来很简单,但是在使用中还是有一些trick才可以的,最近在做一个实验,由于L-BFGS的速度太慢所以选择了带Mini-batch的SGD,我来说下我的心得。2:其实梯度下降算法,在使用的时候无非是要考虑到2个方面,一个是方向,一个是步长,方向决定你是
2014-03-27 09:19:39 19935 2
原创 对优化算法的一些感想
1:今天早上阅读了on optimization methods for deep learning这篇paper,是andrew NG组的博士的一篇paper,这篇paper介绍了L-BFGS,CG(共轭梯度)和SGD算法。2:个人感受最深的就是,我对CG没用过,用L-BFGS最多,SGD是最想用的,但是往往找不到好的模型参数。L-BFGS当样本过多的时候运行非常慢,调一次参数太慢了
2014-03-19 11:25:17 3954 3
原创 神经网络训练中的训练集、验证集以及测试集合
1:在NN训练中我们很常用的是训练集合以及测试集合,在训练集合上训练模型(我个人认为模型就是训练的方法以及对应的参数值,更偏重于参数值吧),训练好之后拿到测试集合上验证模型的泛华(就是该模型可以拿去实战的效果)的能力。2:但是对于上述情况,举个例子,比如是在训练一个多层网络,我们用类似minFUNC的方法来训练,那么这个优化包会直接根据我们的输入直接迭代出来一个很好地结果了,此时模型就
2014-03-18 10:55:28 18542
VC++入门-首字母大写自动转换程序
2012-05-06
队列的一个纯C的封装
2010-06-02
spring-framework-2.5.5-with-dependencies
2008-09-12
spring-framework-2.5.5-with-dependencies
2008-09-12
spring-framework-2.5.5-with-dependencies.zip
2008-09-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人