机器学习提高班---优化和实战（week 1）

优化篇

主讲人：廖云坤，微电子，大三，上海交通大学
文档链接：文档下载地址
详细细节：
廖云坤同学向大家介绍了凸优化问题的基本概念，包括凸集，凸函数，凸问题，之后又以支持向量机为例子讲了凸优化与机器学习的紧密联系。
在讲解凸集时，他从实例出发，循序渐进，依次讲解了n维实向量空间，超平面，半空间，多面体，范数球，仿射空间，对称半正定矩阵集。针对每个实例，他依次给出了代数和二维平面上的几何解释，在讲到超平面和范数球时，引起的到场成员的热烈讨论。之后又介绍了凸集的分离超平面定理和支撑超平面定理，并提出了自己对SVM模型构造思想与分离超平面定理关系的一些思考。之后介绍了两类保凸运算：交集与仿射变换，并以如何证明多面体是凸集为例说明了“凸集的交集仍是凸集”。
在讲凸函数时，仍以实例阐述概念的思路介绍了基本的凸函数：仿射函数，示性函数，二次函数，范数。接着介绍了判断一个函数是否为凸函数的一阶，二阶条件，并在二维平面上形象地解释了这两个条件。然后依次介绍了Jensen不等式在二项，n项以及无穷项的形式。
在介绍完凸集和凸函数后，他切入主题，介绍了凸优化问题的基本形式，然后介绍了局部最优解和全局最优解的概念，最后引出了凸优化问题的重要性质：局部最优解一定是全局最优解。随后又以SVM优