优化问题学习手记——无约束优化问题（基础知识）

优化问题学习手记——无约束优化问题（基础知识）

主要是无约束优化问题数学基础知识。

目录

• 无约束优化问题
  • 基础知识
  • 梯度下降法
  • 牛顿法
• 等约束优化问题
• 不等约束优化问题

必要的基础概念

凸集（convex set）
在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。

凸函数（convex function）
对于任意定义中的x（x可以是向量），$\lambda \in [0,1]$

tips:方便记忆理解的话就是在二维空间里，函数上两点的连线上的所有的点大于函数上同横坐标的点。

拟凸（quasi-convex)
把凸函数大于好那边改成两个端点的函数值的最小值。

关键点
一阶偏导为0的点。

全局最优点

局部最优点

无约束
最优点在可行域的内部（稍微移动一点距离，不会出可行域）

求解局部最优点

判断是否为关键点

一阶偏导为0，指对每一个变量求一阶偏导，使其为0