人工智能之--什么是凸函数以及如何判断一个函数是否为凸函数

1.凸函数的定义

1.对于一元函数f(x)，如果对于任意tϵ[0,1]均满足：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)为凸函数(convex function)

2.如果对于任意tϵ(0,1)均满足：f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)，则称f(x)为严格凸函数(convex function)

3.我们可以从几何上直观地理解凸函数的特点，凸函数的割线在函数曲线的上方，如图1所示：

上面的公式，完全可以推广到多元函数。在数据科学的模型求解中，如果优化的目标函数是凸函数，则局部极小值就是全局最小值。这也意味着我们求得的模型是全局最优的，不会陷入到局部最优值。例如支持向量机的目标函数||w||2/2就是一个凸函数。

3.如何判断一个函数是否是凸函数

1.一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数

2.对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数

3.Jensen不等式

1.对于凸函数，我们可以推广出一个重要的不等式，即Jensen不等式。如果 f 是凸函数，X是随机变量，那么f(E(X))≤E(f(X))，上式就是Jensen不等式的一般形式

2.我们还可以看它的另一种描述。假设有 n 个样本{x1,x2,…,xn}和对应的权重{α1,α2,…,αn}，权重满足ai⩾0,∑αi=1，对于凸函数 f，以下不等式成立：

f(∑ni=1αixi)≤∑ni=1αif(xi)

4.相关问题

1、计算几何是啥东西？
计算几何研究的对象是几何图形。早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。

2、计算几何理论中过两点的一条直线的表达式，是如何描述的？
直线：常用直线上的两个点表示（两点确定一条直线）这样比较常用且简便

3、凸集是什么？ 直线是凸集吗？是仿射集吗？
“在凸几何中，凸集(convex set)是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。特别的，凸集，实数R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，则称集合S为凸集。”
直线不是凸集但是是仿射集。

4、三维空间中的一个平面，如何表达？
三维空间中的凸集就是直观上凸的图形（比如实心球体）

5、更高维度的“超平面”，如何表达？
超平面是如下形式的集合
{x∣aTx=b}
其中a∈Rn,a≠0 且 b∈R

从二维的层面来考虑，超平面就是一条直线，类似于图下，向量就是这个超平面的法向量。阴影部分就是半空间，而加粗直线部分就是超平面。超平面不完全等同于三维空间中的平面概念，在二维空间中是一条直线，三维空间中是一个平面，四维……

6、什么是“凸函数”定义？如何判别一个函数是凸函数？
对于一元函数f(x)，如果对于任意tϵ[0,1]均满足：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)为凸函数(convex function)
例：

f’(x)=3x²
f’’(x)=6x
在整个区间f’’(x)不是恒大于等于0的，所以它不是凸函数。

7、什么是“凸规划”？如何判别一个规划问题是凸规划问题。举例说明？
若最优化问题的目标函数为凸函数，不等式约束函数也为凸函数，等式约束函数是仿射的，则称该最优化问题为凸规划。凸规划的可行域为凸集，因而凸规划的局部最优解就是它的全局最优解。当凸规划的目标函数为严格凸函数时，若存在最优解，则这个最优解一定是唯一的最优解。


验证：