凸优化初步

七月在线4月机器学习算法班课程笔记——No.4

前言     

        这节课主要介绍凸优化的入门知识，程博士推荐阅读Boyd的《凸优化》，最经典的凸优化的书，这本书有600多页，细致讲解了凸优化相关的理论知识，可以作为一门学科来学习。因为硕士阶段学过《工程优化》，在这次学习过程中能容易的get到思想。 一般的优化问题包括 有约束和无约束两种，在这里我们将要弄清楚两件事情：为什么要优化？为什么要凸优化？

        首先，为什么要优化？大致组织了以下两点：

        1）方程式组本身没有解，但是在工程应用中会有求近似解的需求，怎么办呢？可以转化为求f（x）的最小值，即最小二乘问题。通过求导、求梯度来解。

        2）如果方程式组变量特别多，且都是高阶的，可以想象是相当难解的。仍然可以转为最优化问题。

1. 优化问题基础知识

1.1 无约束优化问题

        首先来看无约束优化问题。无约束优化问题中会需要极值点分析，如局部最小（大）点、全局最小（大）点以及拐点（例如x³在x=0时）。高等数学有讲过，简单的函数求极值点可以求梯度，复杂一点的可以求二阶偏导，得到Hessian矩阵。

              

   从Hessian矩阵可以看出，Hessian矩阵是个对称矩阵，因此可以定义矩阵的正负，也就是求对应的二次型的正负。求解二次型的特征值，如果特征值全正，就是正定矩阵；如果有正有负，就是不定矩阵。

1.2 泰勒级数展开