![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
最优化算法
文章平均质量分 67
小屁猴多看书
这个作者很懒,什么都没留下…
展开
-
最优化算法(一):梯度下降法
1.介绍 梯度下降法的目标是:,要找到一个使得目标成立,一般选取初值然后不断迭代,更新x的值,直到收敛,那更新的方向就是函数的负梯度方向,因为这样函数下降的最快,这也就是为什么较梯度下降算法的原因。 必须具备一个条件,就是一阶连续可导,我们把它在第k次迭代方向上进行泰勒一节展开: ...原创 2018-08-05 15:36:26 · 2252 阅读 · 0 评论 -
最优化算法(二):牛顿法
1.推导 牛顿法和拟牛顿法是求解无约束最优化问题的常用方法,它们比梯度下降收敛更快。考虑同样的一个无约束最优化问题: 其中f(x)具有二阶连续偏导数的性质,如果k次迭代值为,则可进行二阶泰勒展开: ...原创 2018-08-05 16:21:26 · 3784 阅读 · 0 评论 -
最优化算法(三):PSO
1.介绍 我这里就不去生动形象的举什么鸟类捕食的例子了,直接给出流程,基本的粒子群算法很简单,只用明确它每次迭代优化的方法就好了。同样PSO也是一个无约束的迭代求解的最优化算法,我们的目标是(这里的min只是举例子,真实情况不一定是求最小值,可能是求一个特定的f(x)): ...原创 2018-08-05 18:40:46 · 2021 阅读 · 0 评论