先简单回顾下:
一、什么是最优化 引用
主要研究以下形式的问题:
给定一个函数 ,寻找一个元素 使得对于所有中的, 或者 。
这类定式有时还称为“数学规划”(譬如,线性规划)。许多现实和理论问题都可以建模成这样的一般性框架。
典型的,一般为欧几里得空间中的子集,通常由一个必须满足的约束等式或者不等式来规定。 的元素被称为是可行解。函数被称为目标函数,或者代价函数。一个最小化(或者最大化)目标函数的可行解被称为最优解。
一般情况下,会存在若干个局部的极小值或者极大值。局部极小值定义为对于一些,以及所有的 满足 使得公式 成立;这就是说,在 周围的一些闭球上,所有的函数值都大于或者等于在该点的函数值。一般的,求局部极小值是容易的,但是要确保其为全域性的最小值,则需要一些附加性的条件,例如,该函数必须是凸函数。
二、主要分支
当目标函数f是线性函数而且集合A是由线性等式函数和线性不等式函数来确定的, 我们称这一类问题为线性规划
当线性规划问题的部分或所有的变量局限于整数值时, 我们称这一类问题为整数规划问题
目标函数是二次函数,而且集合A必须是由线性等式函数和线性不等式函数来确定的。
研究的是目标函数或是限制函数中含有非线性函数的问题。
研究的是某些变量是随机变量的问题。
研究的是最优策略基于将问题分解成若干个较小的子问题的优化问题。
研究的是可行解是离散或是可转化为离散的问题。
研究的是可行解的集合是无限维空间的子集的问题,一个无限维空间的例子是函数空间。
三、牛顿法
1、最速下降法
最速下降法以梯度方向作为极小化算法的下降方向,又称梯度法,是无约束最优化中最简单的方法;
算法描述:
step 1 : 给出,,k:=0
step 2 : 计算,如果 则停止()
step 3 : 用一维搜索求出步长因子,使得
step 4 : 计算
step 5 : 并转至step 2
2、两点步长梯度法
基本思想是利用迭代当前点以及前一点的信息来确定步长因子
算法描述:
step 1 : 给出,,k:=0
step 2 : 计算,如果 则停止()
step 3 : 如果k==0,利用一维搜索哦求,否则:
或者
step 4 : 计算
step 5 : 并转至step 2
一些说明
可以看成 ,其中 是一个矩阵,为了使矩阵具有拟牛顿的性质
计算 使
或者
其中 ,
一个定义
黑塞矩阵(Hessian Matrix),又译作海森矩阵、海瑟矩阵、海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出,并以其名字命名。
1、牛顿法
牛顿法的基本思想是利用目标函数的二次泰勒展开,并将其最小化;
step 1 : 给出,,k:=0
step 2 : 计算 ,如果 则停止(),输出,否则进行step 3
step 3 : 解方程构造牛顿方向,即解 ,求出
step 4 : 进行一维搜索,求解 使得
令,