优化算法
yanhx1204
这个作者很懒,什么都没留下…
展开
-
去均值操作及初始化权重的作用
转载 2017年05月12日 15:52:531204如果做过dnn的实验,大家可能会发现在对数据进行预处理,例如白化或者zscore,甚至是简单的减均值操作都是可以加速收敛的,例如下图所示的一个简单的例子: 图中红点代表2维的数据点,由于图像数据的每一维一般都是0-255之间的数字,因此数据点只会落在第一象限,而且图像数据具有很强的相关性,比如第一个灰度值为30,比较黑,那它旁边的一个像素值一...转载 2018-03-30 10:09:33 · 473 阅读 · 0 评论 -
白化whitening
白化whitening原文地址:http://blog.csdn.net/hjimce/article/details/50864602作者:hjimce一、相关理论 白化这个词,可能在深度学习领域比较常遇到,挺起来就是高大上的名词,然而其实白化是一个比PCA稍微高级一点的算法而已,所以如果熟悉PCA,那么其实会发现这是一个非常简单的算法。 白化的目的是去除输入数据的冗余信息。假设训练...转载 2018-03-30 10:10:47 · 331 阅读 · 0 评论 -
各种优化算法对比总结
前言这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。SGDSGD指stochastic gradient descent,即随机梯度下降。是梯度下降的batch版本。对于训练数据集,我们首先将其分成n个batch,每个batch包含m个样本。我们每次更新都利用一个batch的数据,而非整个...转载 2018-03-28 14:00:56 · 13799 阅读 · 0 评论 -
optimizer优化算法总结
优化方法总结参考深度学习最全优化方法总结比较An overview of gradient descent optimization algorithms目录优化方法总结SGD1 Batch gradient descent2 Stochastic gradient descent3 Mini-batch gradient descent三种gradient descent对比Mini-batch...转载 2018-03-28 14:32:07 · 383 阅读 · 0 评论