算法最优化的方法与实现 (第1课 介绍)

优化算法的应用方向

1.基于优化的计算算法
2.多准则控制器设计
3.模糊建模聚类
4.机器人轨迹规划
5.过程工业调度
6.系统参数估计
7.数字计算机连续时间系统仿真
8.输入饱和预测控制器设计
9.more

优化算法的三个子问题

1.公式化（Formulation）：将工程需要或实际问题转化为数学上的公式，以便进行优化。
2.初始化（Initialization）：选择正确的优化算法，选择合理的参数初始值。
3.优化程序（Optimization procedure）：根据多样的优化技术和多样的计算机平台（机器人/机床）来设计优化算法。

优化问题分类

1.线性规划（Linear programming）：最简单的优化问题，相当于寻找直线上的最大值与最小值点（在一定区间内）。
2.二次型规划（Quadratic programming）：较简单的优化问题，相当于在二次曲线上寻找最大值或最小值点。
3.凸优化（Convex optimization）：本课程最常见的优化问题，指目标函数、约束集是凸集的优化问题。（凸集将在下方介绍）
4.非线性优化（Nonlinear optimization）：最符合实际问题的优化问题。

凸集与三种常见的函数

1.凸集（Convex set）：定义如下图所示；可以理解为，集合内任意两点连线不能超出集合范围。如果还不理解，可以认为：凸集的四周必须向外凸出去的，而不能凹陷。

反面例子如下：x与y的连线有部分超出去了。看蓝色部分，中间是有部分凹陷的。故不是凸集。
2.单峰函数（unimodal function）：定义如下图所示；首先其定义域是一个凸集，然后存在一个最小值点f(x*)，最后从任意一点开始直线移动至该最小值点时，直线上每个点的值一直在下降。（ps.在优化问题中，找最大值和找最小值是一致的，不会进行分开讨论）简单而言，单峰函数就如其名，在定义域内只有一个唯一的峰就行，特别地，如果在峰处事一条水平线，也是单峰函数，其符合原始的定义，有兴趣可以自行考证。

3.拟凸函数（Quasiconvex function）：定义如下图所示，简单翻译为：首先定义域是凸集，然后定义域内任意一个小区间内，其最大值都在端点处。而其反例也很好取得：如正弦函数f(x)=sinx在区间[0,2π]就不是一个拟凸函数。

3.凸函数（Convex function）：定义如下所示；翻译一下：定义域是凸集，对于任意两点，两点连线必须全在原函数之上或之下。举个反例就可以很好理解：如果一个函数，取两个点的连线在函数之上，再取两点连线在函数之下，那么这样的函数就不是凸函数。

正例如下：

反例如下：各位可以尝试分辨其是不是单峰函数和拟凸函数。

梯度介绍

1.梯度可以认为是一个方向导数，一个函数f在一个点x0处在单位向量β方向上的方向导数如下公式所示。

其中β的方向是从[0,2π)区间内的，可以发现当且仅当β的方向与函数导数方向一致时，这样的方向导数是最大的。故可以比较简单地认为：函数的导数就是梯度。负梯度也就被称为最速下降方向（steepest descent direction）。
2.未完待续。