最优化问题
•
• 如果除目标函数以外,对参与优化的各变量没有其他约束,则称为无约束最优化问题。反之,称为有约束最优化问题。
最优化问题的分类
• 无约束最优化可以写为
•
• 等式约束最优化可以写为
• 不等式约束最优化可以写为
最优化问题求解
• 无约束优化求解:主要有解析法和直接法。
• 直接法通常用于当目标函数表达式十分复杂或写不出具体表达式时的情况。通过数值计算,经过一系列迭代过程产生点列,在其中搜索最优点 。
• 解析法,即间接法,是根据无约束最优化问题的目标函数的解析表达式给出一种求最优解的方法,主要有梯度下降法、牛顿法、拟牛顿法、共轭方向法和共轭梯度法等
• 约束最优化求解:解决约束最优化问题最常用的方法是引用拉格朗日乘子(等式约束)