优化方法
文章平均质量分 69
cyoutetsu
这个作者很懒,什么都没留下…
展开
-
梯度下降
梯度下降法梯度下降法(gradient descent)是求解无约束最优化问题的一种常用方法,是一种迭代算法。*这里可以对比之前介绍的拉格朗日对偶性是解决有约束条件下的最优化方法。原理步骤目标函数假设 f(x)f(x) 是 RnR^n 上具有一阶连续偏导数的函数,现在要求解它的无约束最优化问题,即 minx∈Rnf(x)\min\limits_{x\in R^n} f(x)。原理选取适当的初值 x(原创 2017-08-24 17:22:41 · 620 阅读 · 0 评论 -
优化数学基础
目标函数在机器学习中,把需要最大化或者最小化的函数称为目标函数。而在其中一大部分都是最小化,在最小化的优化中,目标函数又被称为代价函数(cost function)或者损失函数(loss function)。导数和偏导数假设有一个函数 y=f(x)y=f(x),导数 f′(x)f'(x) 代表了 f(x)f(x) 在点x上的斜率。求导对于机器学习中优化问题的有很重要的意义。例如在梯度下降中,优化的方原创 2017-09-11 10:53:22 · 557 阅读 · 0 评论