凸优化问题

一、概念

$~~~~~~~$最优化问题目前在机器学习，数据挖掘等领域应用非常广泛，因为机器学习简单来说，主要做的就是优化问题，先初始化一下权重参数，然后利用优化方法来优化这个权重，直到准确率不再是上升，迭代停止。

两个正数的算术平均数大于等于几何平均数：
$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$
给定可逆对称阵Q，对于任意的向量x，y，有：

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$

1.1 仿射集:（直线）

通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。

1.2 凸集:（线段）

$~~~~~~~~$如果通过集合C中任意两个不同点之间的线段(上的任何点)仍在集合C中，那么称集合C是凸的。
$θ*x1+(1-θ)*x2 ∈ C;其中 x1∈ C,x2∈ C， 0<=θ<=1$

集合C的所有点的凸组合形成的集合， 叫做集合C的凸包。

集合C的凸包是能够包含C的最小的凸集。

1.3 锥定义（射线）

$~~~~~~~~$给定 C∈Rn，满足x∈C，tx∈C对于任意t≥0C∈Rn，满足x∈C，tx∈C对于任意t≥0称之为锥。

1.4 凸锥（convex cone）：

x1,x2∈C，t1x1+t2x2∈C,对于任意t1,t2≥0x1,x2∈C?t1x1+t2x2∈C,对于任意t1,t2≥0都成立，那么称集合C 为凸锥。显然凸锥是锥的一种。

1.5 凸优化

拉格朗日乘子法就是求函数f(x1,x2,…)在约束条件h(x1,x2,…)=0下的极值的方法：

1.6 运用

具体详见