凸优化——Lasso

凸优化问题实例：LASSO

熟悉机器学习算法里面的线性回归或者逻辑回归的同学因该明白LASSO问题，其定义为：

minβ∈Rpsubjectto∥y−Xβ∥22∥β∥1≤s minβ∈Rp∥y−Xβ∥22subjectto∥β∥1≤s

LASSO是Tibshirani（对就是Tibshirani）在1996年JRSSB上的一篇文章上《Regression shrinkage and selection via lasso》提出的。所谓lasso，其全称是least absolute shrinkage and selection operator，其含义是在限制了 ∑∥β∥1≤s ∑∥β∥1≤s的情况下，求使得残差平和达到最小的参数的估值。Tibshirani指出，对于回归算法，当 s s足够小的时候，会使得某些回归系数的估值是0，可以起到变量选择的作用，是逐步回归的一种表现。

因此，对于LASSO算法，其是否是凸优化问题？它的解集合是否是唯一的点？

答案是，LASSO问题是凸优化问题，因为 f(x)=∥y−Xβ∥22 f(x)=∥y−Xβ∥22和 g(x)=∥β∥1−s g(x)=∥β∥1−s均是凸函数，因此该问题为凸优化问题；如果样本数目 n n大于特征数目 p p，且X满秩，那么 ∇2f(β)=2XTX⪰0 ∇2f(β)=2XTX⪰0，关于 β β二阶微分恒为半正定p.s.d.，因此，解是唯一的；但是，如果样本数目 n n小于特征数目 p p，那么会造成高维特征空间上的维数灾难问题，此时，X为奇异矩阵，则解不唯一。

另一个实例是SVM算法，SVM算法的理论部分我就不多介绍了，会在机器学习算法篇章中对SVM做着重介绍，如果我们记SVM为：

minβ,β0,ξsubjectto12∥β∥22+C∑inξiξi≥0,i=1,…,nyi(xTiβ+β0)≥1−ξi,i=1,…,n minβ,β0,ξ12∥β∥22+C∑inξisubjecttoξi≥0,i=1,…,nyi(xiTβ+β0)≥1−ξi,i=1,…,n

其中， 1∥β∥ 1∥β∥为下图两个虚线边界的距离， ξ ξ为引入分类错误的代价，代表下图错分样本点距正确分类边界的距离。具体如下图：

那么，该问题是否为凸优化问题呢？它的解是否是唯一？

答案是，SVM目标函数是凸优化问题，但是，它的解并不唯一，因为它不是严格凸函数。有兴趣的同学可以留言来解释为什么SVM是凸优化问题！

4. 局部最小值就是全局最小值

局部最优解的定义为：如果 ∃R>0 ∃R>0，使得 f(x)