优化算法
文章平均质量分 83
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS231n作业笔记2.3:优化算法Momentum, RMSProp, Adam
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记本部分实现的是Momentum,RMSProb, Adam三种优化算法,优化算法是用于从随机点出发,逐渐找到局部最优点的算法。关于各种优化算法的详细介绍,请参考CS231n课程笔记6.1:优化迭代算法之SGD,Momentum,Netsterov Momentum原创 2016-12-29 21:13:51 · 6520 阅读 · 3 评论 -
CS231n课程笔记6.1:优化迭代算法之SGD,Momentum,Netsterov Momentum,AdaGrad,RMSprop,Adam
CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。优化迭代算法写在前面:Karpathy推荐Adam作为默认算法,如果full batch的话,在去除所有噪声的情况下尝试L-BFGS(一种二阶优化算法,详情请自行搜索)。关于优化算法的实现请参考CS231n作业笔记2.3:优化算法Momentum, RMSPro原创 2017-03-02 21:47:11 · 8329 阅读 · 2 评论 -
Hinton Neural Networks课程笔记3e:如何利用梯度值训练网络(学习策略和过拟合抑制)
这里只是开了个头,笼统的讲了讲如何利用梯度值训练网络,包括优化算法的部分以及防止过拟合的部分。1. 优化算法的部分这里只提到了三个部分(具体要到第六节才讲):batch相关的抉择、学习率相关的选择、优化算法的选择。 batch相关的选项有online(one case)、mini-batch(some cases)和full-batch(all cases)。那online典型的问题就是zig-z原创 2017-08-27 20:38:54 · 828 阅读 · 0 评论 -
Hinton Neural Networks课程笔记3a:线性神经元的学习算法
这节其实是在为反向传播(BP)算法铺路,解释了delta rule(chain rule),然后举了个简单的例子,并做了一些评价。回顾感知机的部分,其学习算法简单快速,在数据集线性可分的情况下保证收敛。回顾感知机的学习算法,因为是Binary Threshold的激活函数,构建权重空间之后,每一个数据点对应于权重空间的一个超平面,该超平面对能够正确分类该数据点的权重空间做了限制;满足所有数据点限制的原创 2017-08-24 16:00:07 · 762 阅读 · 0 评论