optimization
吴一奇
try again and again and again...
展开
-
最优化方法综述
本篇文章对常用的最优化方法进行简要介绍和比较,主要涉及的方法有:梯度下降法牛顿法、拟牛顿法和高斯牛顿法共轭梯度法Levenberg–Marquardt模拟退火法1. 简介最优化问题简介2. 梯度下降法批量梯度下降法和随机梯度下降法3. 牛顿法4. 共轭梯度法5. Levenberg-Marquardt方法6. 模拟退火法(启发式方法)由于最近比较忙,之后会一一展开。原创 2016-11-12 11:47:45 · 1458 阅读 · 0 评论 -
基础牛顿法及其变形(basic Newton's method & its variants)
本篇详细介绍用于求解一元函数零点的牛顿法及其各种形式的变形,并给出收敛性质。1. 简介1.1 问题引出问题:求函数f:I⊆R→Rf:I⊆R→Rf : I \subseteq R\to R的零点αα\alpha(f(α)=0f(α)=0f(\alpha)=0)。 这个问题可以使用如下形式的单点迭代法(one-point iteration),得到迭代函数g(x)g(x)...原创 2016-12-04 11:22:09 · 4688 阅读 · 4 评论