【面试】解释一下什么是凸集合和凸函数

面试模拟场景

面试官: 你能解释一下什么是凸集合和凸函数吗？

参考回答示例

1. 凸集合（Convex Set）

定义：

• 如果对于集合中的任意两个点 $x_1,x_2$，以及任意满足 $0\le \lambda \le 1$ 的实数 $\lambda$，线段上的点 $\lambda x_1+(1-\lambda )x_2$ 也在集合 $C$ 中，则该集合 $C$ 在欧几里得空间（或更广泛的向量空间）中被称为凸集合
• 数学表达为：
  $$C\text{是凸集合}⟺\forall x_1,x_2\in C,\forall \lambda \in [0,1],\lambda x_1+(1-\lambda )x_2\in C$$

几何解释：

• 凸集合可以理解为，如果你任意选取集合中的两个点，连接这两个点的线段仍然完全位于集合内部，那么这个集合就是凸的。

示例：

• 凸集合的例子： 欧几里得空间中的直线、线段、平面、凸多边形、多面体等都是凸集合。
• 非凸集合的例子： 圆环（不包括内部区域）、凹形多边形（如星形）等。

2. 凸函数（Convex Function）

定义：

• 在定义域为凸集的函数 $f:C\to \mathbb{R}$ 中，如果对于任意 $x_1,x_2\in C$ 和任意满足 $0\le \lambda \le 1$ 的实数 $\lambda$，有：
  $$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$$
  则称 $f(x)$ 是凸函数。

几何解释：

• 凸函数的图像具有一个向上的曲线或平面，即任何两点之间的线段在函数图像上方或与之重合。这意味着对于凸函数，任意两点连线的函数值始终大于或等于沿着该连线的中间值。

示例：

• 凸函数的例子：
  • 二次函数 $f(x)=x^2$ 是凸函数，因为其图像是一条开口向上的抛物线。
  • 指数函数 $f(x)=e^x$ 也是凸函数，因为随着 $x$ 增大，函数值增速变快，满足凸函数的定义。
• 非凸函数的例子：
  • 二次函数 $f(x)=-x^2$ 是凹函数，因为它是开口向下的抛物线，不符合凸函数的定义。

3. 凸集合和凸函数的性质

凸集合的性质：

• 任意交集仍然是凸集合： 如果多个集合都是凸的，那么它们的交集也是凸的。
• 仿射变换保持凸性： 通过仿射变换（如平移、旋转、缩放）后的凸集合仍然是凸集合。
• 凸组合： 凸集合的任意凸组合仍然位于该集合内。

凸函数的性质：

• 局部最小即全局最小： 对于凸函数，如果它在某个点有局部最小值，那么这个最小值就是全局最小值。
• 保凹性： 函数 $f$ 的任意线性组合或加权和，如果每个函数都是凸函数，并且权重为非负数且和为1，则结果函数也是凸函数。
• 二阶导数条件： 如果函数的二阶导数（Hessian矩阵）是半正定的，那么该函数是凸函数。

4. 应用场景

优化问题：

• 凸优化： 在凸优化中，目标函数和约束条件通常都是凸函数和凸集合。这类优化问题具有良好的数学性质，如唯一的全局最优解，且可以用高效的算法求解，如梯度下降法、牛顿法等。

5. 总结

• 凸集合的定义： 凸集合是指如果一个集合中任意两个点的连线仍然位于该集合内，则该集合为凸集合。
• 凸函数的定义： 凸函数是指如果函数图像上任意两点之间的连线位于函数图像上方或重合，则该函数为凸函数。
• 性质与应用： 凸集合和凸函数在优化等领域有广泛应用，它们的良好数学性质使得相关问题更易求解和分析。