优化理论复习——（一）

接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法，和概率方面的问题是不同源的，数学方法比较难，但是都是经常会用到的。
基本概念
线性规划
无约束优化方法
约束优化
多目标优化
本篇是关于一些基本概念和基础知识的回顾

基本概念

1.什么是最优化？

最优化就是判别在一个问题的众多解决方案中什么样的方案最佳，以及如何找出最佳方案。

2.最优化问题的基本数学模型

min: minimize
s.t. subject to
最小化函数f(x)满足等式约束以及不等式约束

x是决策变量，f(x)是目标函数或价值函数（可以是实值函数，也可以向量值函数）
等式约束函数和不等式约束函数
I不等式指标集
E等式指标集
所以最优化模型的三要素：

• 决策变量
• 目标函数（可以使实值函数可以是向量值函数）
• 约束函数（必须是实值函数）

可行域：同时满足等式约束和不等式约束的x的集合是可行域（可行集、约束条件）
若为空集，那么问题就是不可行的，否则可行的。
可行集中的点是可行点。
邻域：x的ϵ邻域就是（x-ϵ,x+ϵ）看成这个就行了。
若x* 在可行域内，且对于任意的可行点，f(x*)≤f(x)不等式都成立，那么该可行点是全局最优解
如果是严格小于，即f(x*)<f(x)，那么是严格全局最优解
若x* 在可行域内,且存在存在一个x的邻域N使得对所有的N∩F都有f(x)≤f(x)成立，则是局部最优解
，同理如果严格小于，那就是严格局部最优解。

对于优化问题，最优解 x* 所对应的目标函数值f(x*)为此优化问题的最优值。

最优解集：全局最优点的集合，记为S。
如果S是空集或者可行域是空集或者可行域非空但是目标函数在可行域上无下界，则最优化问题没有最优解

第一个是S为空集，第二个是可行域为空集，第三个是目标函数在可行域上没有最小值（目标函数在可行域上无下界）
从最后一个可以看出来：

最优解未必存在，即使存在也未必唯一，但最优解存在时最优值必存在且唯一
其他形式的最优化问题也可以转换为最小化模型，如max模型。
可以进行等价转换（加个负号）
各种形式的数学描述：

the argument of the minimum最小值的论证

3.优化问题的分类

（1）根据有无约束：
无约束优化 可行集（域）为R
约束优化 可行集（域）是R的子集，且可行域为R
（2）根据所涉及函数的线性与否
线性规划 目标函数、约束函数均是线性的
非线性规划 否则
（3）目标函数的类型
单目标规划 若目标函数是一个多变量实值函数
多目标规划 若目标函数是一个多变量的向量值函数
（4）涉及函数的可微性
光滑优化 若目标函数和约束函数都是连续可微的
非光滑优化 否则
（5）所涉及函数的凸性
凸规划 f是凸函数 可行域是凸集
非凸规划 否则
（6）根据可行点的个数分类（决策变量的取值是连续还是离散）
连续优化 可行域中包含无穷多个点，且可行域的点连续变化
离散优化 可行域中有限多个点或可数多个点

4.数学基础

向量范数与矩阵范数

向量范数的定义

满足以下三个条件的是向量范数
非负性
齐次性
三角不等式

分为多种形式

1范数

2范数

无穷范数

p范数

矩阵范数

非负性
齐次性
三角不等式

函数可微性

梯度与hesse阵与Jacobi阵

主要是掌握求法，这里通过一个例子来学习

熟悉了之后还是比较简单的。其中梯度的jacobi矩阵就是hesse阵

talor公式与中值定理

函数的一阶和二阶Taylor展开：

5.线搜索迭代算法

一般步骤

这是一类算法的总称，后面的无约束优化问题就是以这个算法为基础开展的。

其实就是四步，初始化后判断是否终止，2选择迭代方向，3选择迭代步长，4更新x_k+1
按照这几步来介绍一下相关内容

终止规则

首先是终止规则，实际使用的是三种:

下降方向

其次是迭代方向，这里主要注意下降方向和可行方向。
下降方向的条件：

这是下降方向的一个必要条件要注意。下降方向的原始定义是：

可行方向定义比较简单，就是在该方向上迭代后依然处于可行域。所以就引出了一个重要的概念，可行下降方向：

如果那么就是充要条件了。

迭代步长

迭代方向说完了，接下来是迭代步长的内容，主要有精确一维线搜索和非精确一维线搜索，求出的特定的步长用的。

非精确的知道armijo和wolfe搜索就行了。

收敛性

收敛性和收敛速度的概念，首先是收敛性：

收敛与否就看上面了，然后初始点的选择决定它是全局收敛还是局部收敛：

最后是收敛速度方面，这里不管局部二字，只看那个比值中所说的含义就行，也就是分线性，超线性和二阶收敛。

5.凸集凸函数与凸规划

凸集定义就不多说了：
这里主要是了解一些概念：超平面，半空间（开、闭）

凸集与点分离定理。就是用超平面来分离即可。

凸函数

凸函数定义需要注意，和几何上是相反的，并且要注意凸函数、严格凸函数和一致凸函数（强凸函数）的区别：

并且线性函数既凸又凹。
凸函数三个性质：描述为(-凹，线性凸，水平凸)

判别准则：
一阶判别，就是一个两点斜率大于梯度

二阶判别注意充要性。半正定是大于等于，正定是大于。并且严格凸是没办法推出正定的。正定时是严格凸。凸与半正定充要。

强凸与一致正定充要，并且给出一致正定的定义

凸规划

凸集与凸函数组合成凸规划，有以下性质（局部为全局，最优解集为凸，如果严格凸且存在全局最优则唯一）