crazy_scott的博客

传统的机器学习中最难理解的就是SVM了，只学过高数和线代的普通本科生的确很难理解。因此，想要入门机器学习，第一件事就是增强数学基础。而凸优化是其中无法越过的一道坎。本人以备受推崇的Stephen Boyd的Convex Optimization为例，分享本人学习期间的笔记和资料，方便大家参考。官方网站：Convex Optimization - Boyd and Vandenbe...

总结凸优化中会出现的基本概念。凸集仿射集合和凸集仿射集合仿射集合p20p20_{p_{20}}仿射组合 可以将仿射集合表示为线性空间＋偏移量仿射包p20p20_{p_{20}} 包含CCC的最小仿射集合，其中CCC为任意集合仿射维数p21p21_{p_{21}} 集合CCC的仿射维数为仿射包的维数可根据仿射维数定义相对边界凸集直观理解...

介绍凸优化问题的基本描述。优化问题问题的标准形式p122p122_{p_{122}}minf0(x)minf0(x)\min f_0(x)s.t. fi(x)≤0, i=1,..,ms.t. fi(x)≤0, i=1,..,ms.t. \space f_i(x)\le 0,\space i = 1,..,mhi(x)=...

介绍矩阵求导法则，以及常用的求导公式、迹函数、行列式求导结论矩阵求导法则矩阵求导应该分为标量求导、向量求导、矩阵求导三个方面来介绍，公式繁多，但仔细看看其实是有规律可循的。标量求导无论是矩阵、向量对标量求导，或者是标量对矩阵、向量求导，其结论都是一样的：等价于对矩阵（向量）的每个分量求导，并且保持维数不变。例如，我们可以计算标量对向量求导：设yyy为一个元素，x...

凸函数的对偶问题是解决最优化的有效方法。Lagrange对偶函数Lagrangep207p207_{p_{207}}考虑标准形式的优化问题：min fo(x)min fo(x)\min \space f_o(x)s.t. fi(x)≤0,i=1,...,ms.t. fi(x)≤0,i=1,...,ms.t. \spac...

这一章开始，进入凸优化的应用。拟合、逼近、插值拟合 一般是对于离散点用函数代替列表函数使得误差在某种意义下最小插值 一般是对于离散点用一个函数来近似代替列表函数，并要求函数通过列表函数中给定的数据点逼近 一般是对于连续函数为复杂函数寻找近似替代函数，其误差在某种度量下最小范数逼近基本问题p286p286_{p_{286}}最简单的范数逼近问题...

介绍等式约束优化的求解。等式约束优化问题minf(x)minf(x)\min f(x)s.t.Ax=bs.t.Ax=bs.t.\quad Ax=b其中fff为二次可微凸函数，假设等式约束少于变量数，并且等式约束互相独立。假定存在一个最优解x⋆x⋆x^\star，并用p⋆p⋆p^\star表示其最优值，即：p⋆=inf{f(x)|Ax=b}=f(x⋆)p⋆=inf...

本章进入凸优化问题的求解、算法阶段。无约束优化问题本文讨论一下无约束问题：minf(x)minf(x)\min f(x)其中，fff是二次可微凸函数。假定该问题可解，即存在最优解x⋆x⋆x^\star，用p⋆p⋆p^\star表示最优值为：infxf(x)=f(x⋆)infxf(x)=f(x⋆)\inf _xf(x) = f(x^\star)。因为fff可微，则最优...

简单介绍处理不等式约束问题的内点法的算法流程。不等式约束的极小化问题minf0(x)minf0(x)\min f_0(x)s.t.fi(x)≤0s.t.fi(x)≤0s.t.\quad f_i(x)\le0Ax=bAx=bAx=b假设该问题可解，即存在最优的x⋆x⋆x^\star，用p⋆p⋆p^\star表示最优值f0(x⋆)f0(x⋆)f_0(x^\star)...