由于专业方面需要用到各种数值优化的算法,所以最近在学习 Jorge Nocedal 的 《Numerical Optimization》。下面写到的,算是我的学习笔记,应该不会涉及版权问题,算是我自己的总结,也可以与大家讨论分享。
数值优化基础
1. 数学基础
所谓优化问题,其实就是(在一定约束条件下)寻找目标方程最小/最大值过程中求解参数的问题,其通用模型如下:
- x x 为变量向量(vector of variables)也就是未知参数(unknowns or parameters)
- 是目标函数(objective functions),即要求解其最大/最小值
- ci c i 是约束函数(constraint functions),包含等式及不等式约束式(关于 x x 的),用来规定可行域(feasible region)
其中 ε ε 与 ι ι 分别为等式/不等式约束域
可以通过一个例子来理解上述模型:
min(x1−2)2