无约束优化
honghu_zero
数学专业 信息与计算科学 计算机
展开
-
无约束优化问题(二)
上一篇我们介绍了无约束优化问题的算法框架,初步了解了无约束优化问题的几种算法。本篇内容将会讲解线搜索方法中的一种古老的方法——梯度法(也称最速下降法)在算法框架中我们提到,不同的方式确定搜索方向或搜索步长,就会得到不同的算法,而梯度法就是用负梯度方向作为搜索方向,即dk=−∇f(xk)d_k=-\nabla f(x_k)。那么,为什么要用负梯度方向作为搜索方向? 因为负梯度方向是当前点的原创 2018-01-12 23:26:07 · 2039 阅读 · 1 评论 -
无约束优化问题(一)
一名数学专业的人工智能爱好者 导语 随着人工智能、深度学习的火爆,越来越多的人加入到这个行业中来,相信你们也一定听说过,不懂数学的AI工作者找工作时经常碰壁,博主作为一名数学专业学生开这一系列博客希望可以帮大家以简明的方式了解深度学习中数学到底起了什么作用最优化问题为什么会讲到最优化问题,我们在学习DL时,需要极小化损失函数以达到极大化学习率的目的,也就是求w与b的原创 2018-01-10 17:29:10 · 11718 阅读 · 0 评论