最优化--凸函数--拉格朗日乘子法

目录

凸函数

凸函数定义

凸函数的判定

性质特点 

拉格朗日乘子法 

基本思想

有约束最优化问题

拉格朗日乘子法

---

凸函数

凸函数（Convex Function）是定义在凸集上的实值函数，具有以下性质：对于任意两个定义域内的点，函数上的连线段上的点的函数值不超过这两个点的函数值。

形式化地，设函数 f(x) 在凸集 C 上定义，对于 C 中的任意两个点 x1 和 x2，以及任意实数 t（0 <= t <= 1），满足以下不等式：

f(tx1 + (1-t)x2) <= tf(x1) + (1-t)f(x2)

其中，tx1 + (1-t)x2 是 x1 和 x2 的凸组合。

凸函数的几何直观解释是：函数上的每个点都位于连接该点的任意两个点所在的线段或曲线的上方。

凸函数定义

设函数f定义在凸集D上，若对于∀x,y∈D及 0≤θ≤1，都有f(θx+(1-θ)y)<θf(x)+(1-

θ)f(y)，则称f为凸函数。

从图形上看，就是：凸函数在函数上任意找两点它们的连线（也就是割线）上的值比对

应的函数的值要大。

凸函数的判定

以一元函数为例，若函数f(x)有f''(x)>0，则函数f(x)就是凸函数。

例如：函数f(x)