wulimmya的博客

学SVM时遇到二次规划要用SMO（Sequential Minimal Optimization序列最小优化）算法，在网上看资料发现坐标上升法的思想和SMO很相似，也特别有意思，特此详细挖一下。...

目标函数和约束条件均为线性的最优化问题。约束为线性等式Or不等式求解方法：单纯形法分支：整数线性规划Iinteger Linear Programing

（一） 间隔和支持向量SVM（Support Vector Machine）的思想和其他线性模型做2分类一样，都是找个超平面（hyperplan）然后一刀切。但SVM这么成功(在90年代直接造成了NN的第二冬)，自然有其独到之处，那就是在超平面的概念上，多引入了“间隔”和"支持向量"的概念。可实现分类的超平面不唯一，我们怎么选择一个更好的超平面呢？直观上，应该是去找位于两类样本的“正中间”的那...

逻辑回归，也叫对数几率回归，它先回归出一个预测值，再用一个函数（sigmoid函数）把预测值转换为0 or 1类的概率从而实现分类。前面讲的最小二乘只能回归，只是求解了一个拟合模型，对于新数据可以预测出一个具体的实值，却止步于此，不能用于二分类。探究一下“逻辑回归”和“对数几率回归”两个名字，里面的用词也承载了一些信息量。“逻辑”即“真”“假”，也就是布尔类型，不是0就是1，这是因为逻辑回归的基...

又称最小平方法，一种优化方法，由高斯，勒让德独立提出，但高斯先发现，勒让德先发表用途：给一组数据找一个最佳匹配的函数，使得拟合性最好；根据拟合函数求未知数据。思想：最小化误差的平方和，主要是在最小化超定方程组（方程数比未知数多）的残差（观测值与模型提供的拟合值之间的差距）平方和。...

Gradient descent,是一个一阶最优化算法，也叫最速下降法，用于寻找函数的极小值点，迭代搜索的方向是当前点的梯度反方向。用于寻找函数的极大值点的方法叫做梯度上升法，本质和梯度下降一样，只是迭代搜索的方向是当前点的梯度方向。梯度下降法，是一种数值优化方法，经常用于求解机器学习算法的模型参数，即无约束优化问题（我们知道这种问题在连续情况下，直接对所有变量求偏导，解析解就可能是极小值...

前段时间学了拉格朗日乘子法，学会了构造拉格朗日函数，也就是学会了把带约束（等式或不等式）的优化问题转化为无约束优化问题，私以为这部分就学完了到此为止了，没想到今天推导SVM的数学模型，要推原问题的对偶问题，愣是艰难地卡了大半天，一直没明白对偶问题的含义，原来拉格朗日函数得到以后还要进一步往下推出拉格朗日对偶函数，对偶函数的极值问题就是原问题的对偶问题，本文专门梳理和总结一下，以作学习记录。本...

SMO在1998年由微软研究院的John C.Platt提出，提出是为了训练SVM的，原本训练SVM需要解一个很大规模的二次规划问题，SMO把它转化为了多个小的二次规划问题，于是就能解析求解，不需要耗时地用循环迭代进行数值求解了，而且还避免了矩阵运算。SMO需要的内存和训练集大小成线性比例，所以可以处理大规模的训练集。论文地址：https://www.microsoft.com/en-us/re...

matlab一般求解方式示例可以看出12xTHx=2x12−4x1x2+4x22\frac12x^THx=2x_1^2-4x_1x_2+4x_2^221​xTHx=2x12​−4x1​x2​+4x22​即[x1x2][abcd][x1x2]=ax12+(b+c)x1x2+dx22=4x12−8x1x2+8x22\left[ \begin{matrix} x_1 &...