凸集函数之基本属性和示例

凸函数（Convex functions）之基本属性和示例

1.定义（Definition）
如果dom f是一个凸集，那么函数f：Rn→R是凸的，如果对于所有x，y∈dom f和θ为0≤θ≤1，我们有

几何上，该不等式表示（x、f(x)）和（y、f(y)）之间的线段，即x到y的弦。
如果当x=y和0<θ<1中，严格不等式在上式中成立，则函数f是严格凸的。如果−f是凸的，则说f是凹的，如果−f是严格凸的，则说严格凹的。

一个凸函数的图。图上任意两点之间的和弦（即线段）位于图的上方。

2.扩展值的扩展名（Extended-value extensions）
通过将凸函数定义为其域之外的∞，将其扩展到所有Rn通常是方便的。
如果f是凸的，我们定义它的扩展值扩展˜：Rn→R∪{∞}

f˜的扩展名在所有Rn上定义，并在R∪{∞}中取值。
当dom f={x|f˜(x)<∞}，我们可以从f˜的扩展名中获取我们可以从f˜的扩展名中获取原始函数f的结构域。

对于f˜的扩展名，我们可以将其表示为：对于0<θ<1，

对于任何x和y。

3.一阶条件(First-order conditions)
假设f是可微的(即，它的梯度∇f存在于domf中的每个点，它是开放的)。
那么f是凸的，当且仅当dom f是凸的并且

适用于所有的x，y∈dom f。

如图所示，如果f是凸的和可微的，那么f(x)+∇f(x)T(y−x)≤f(y)对于所有x，y∈domf。

严格凸性也可以用一阶条件来描述：f是严格凸的，当且仅当dom f是凸的，对于x，y∈domf，x≠y，我们有

对于凹函数，我们有相应的特征：f是凹的，当且仅当dom f是凸的并且

对于所有的x，y∈dom f。

4.二阶条件(Second-order conditions)
我们现在假设f是两次可微的，也就是说，它的Hessian导数或二阶导数∇2f存在于dom f中的每个点，它是开放的。
那么f是凸的，当且仅当dom f是凸的，它的Hessian是正半定的：对于所有的x∈domf，

对于R上的函数，这可简化为简单的条件f“(x)≥0。

5.子级集（Sublevel sets）
函数f：Rn→R的α子级集定义为

凸函数的子级集是凸的，对于α的任何值。证明直接来自凸性的定义：如果x，y∈Cα，那么f(x)≤α和f(y)≤α，所以f(θx+（1−θ）y)≤αfor0≤θ≤1，因此θx+（1−θ）y∈Cα。
相反则不正确：函数可以使它的子级集都是凸的，但不能不是凸函数。例如，f(x)=−ex在R上不是凸的（实际上，它是严格的凹的），但它的所有子级集都是凸的。
如果f是凹的，那么它的α-上级集，由{x∈domf|f(x)≥α}给出，是一个凸集。子级集属性通常是建立一个集凸性的好方法，通过将其表示为凸函数的子级集，或作为凹函数的上级集。

6.Epigraph
函数f：Rn→R的图被定义为

它是Rn+1的一个子集。一个函数f：Rn→R的Epigraph被定义为

它是Rn+1的一个子集。(“Epi”的意思是“上面”，所以铭文的意思是“图上”。)

如图所示，函数f的特征，显示阴影。下边界显示得较深，是f的图。
凸函数的许多结果可以用铭文几何地证明（或解释），并将结果应用于凸集。例如，考虑凸性的一阶条件：

其中f是凸的，y∈dom f。我们可以用epi f几何地解释这个基本不等式。如果(y，t)∈epi f，那么

我们可以表达为：

这意味着由（∇f(x)、−1）定义的超平面支持边界点（x、f(x)）处的epi f；

如图所示，对于可微凸函数f，向量(∇f(x)，−1)定义了ff的支持超平面。

7.延森的不等式与扩展（Jensen’s inequality and extensions）
基本不等式，即，

有时也被称为延森不等式。它很容易地扩展到两个以上的凸组合：如果f是凸的，x1，…，xk∈dom f和θ1…，θk≥0和θ1+··+θk=1，然后
与凸集的情况一样，这个不等式也扩展到无限和、积分和期望值。例如，如果S⊆domf上的p(x)≥0，RSp(x)dx=1，则

只要积分存在。在最一般的情况下，我们可以接受domf中支持的任何概率测度。如果x是一个随机变量，使得概率为1的x∈domf，而f是凸的，那么我们有

只要有期望的存在。我们可以通过利用随机变量x来支持{x1，x2}，从这个一般形式中恢复基本的不等式（3.1），问题(x=x1)=θ，问题(x=x2)=1−θ。因此，不等式（3.5）刻画了凸性：如果f不是凸的，则有一个随机变量x，x∈dom的概率为f，即f(Ex)>Ef(x)。
所有这些不等式现在都被称为詹森不等式，尽管詹森研究的不等式是非常简单的

8.不平等（Inequalities）
将延森不等式应用于一些适当的凸函数，可以导出许多著名的不等式。（事实上，凸性和延森不等式可以成为不等式理论的基础。）作为一个简单的例子，考虑算术几何平均不等式：

对于a，b≥0。函数−logx是凸的；与θ=1/2的Jensen不等式得到

取双方的指数，收益率。
作为一个不那么平凡的例子，我们证明了老¨的不等式：对于p>1,1/p+1/q=1和x，y∈Rn，

通过−logx的凸性和具有一般θ的Jensen不等式，得到了更一般的算术-几何平均不等式

对于a、b≥0和0≤θ≤1有效。正在将其应用于

产生

加上i，然后得到yields H¨older’s的不等式。