坐标上升算法(Coordinate Ascent)和smo算法概括

目标优化函数： 

我随机找一个α=（α1，α2，...，αN）。假设它就是最优解，就可以用KKT条件来计算出原问题的最优解（w,b），就是这个样子：

进而可以得到分离超平面：

 此时这个aerfa还得满足目标条件：

根据已有的理论，上面的推导过程是可逆的。也就是说，只要我能找到一个α，它除了满足对偶问题的两个初始限制条件：

由它求出的分离超平面g(x)还能满足g(x)目标条件，那么这个α就是对偶问题的最优解！！！

我的思路已经确定了：首先，初始化一个α，让它满足对偶问题的两个初始限制条件，然后不断优化它，使得由它确定的分离超平面满足g(x)目标条件，在优化的过程中始终确保它满足初始限制条件，这样就可以找到最优解。

没有按照传统思路，想着怎么去让目标函数达到最小，而是想着怎么让α满足g(x)目标条件。

具体怎么优化α呢？经过思考，我发现必须遵循如下两个基本原则：

• 每次优化时，必须同时优化α的两个分量，因为只优化一个分量的话，新的α就不再满足初始限制条件中的等式条件了。

• 每次优化的两个分量应当是违反g(x)目标条件比较多的。就是说，本来应当是大于等于1的，越是小于1违反g(x)目标条件就越多，这样一来，选择优化的两个分量时，就有了基本的标准。

为什么只取一个分量呢？这个分量要在大于0小于C的分量中选择呢？

我认为在这个区间意味着在决策边界上，大概率要优化，如果没有找到可优化的分量时，再从其他两类分量中挑选。

我当时是这么想的，选择的两个分量除了要满足违反g(x)目标条件比较多，计算复杂外，

还有一个重要的考量：就是经过一次优化后，两个分量要有尽可能多的改变，这样才能用尽可能少的迭代优化次数让它们达到g(x)目标条件，既然α1是按照违反g(x)目标条件比较多来挑选的，

我希望选择α2时，能够按照优化后让α1、α2有尽可能多的改变来选。

我为每一个分量算出一个指标E，它是这样的：

直观理解：找到的这两个点都是图形的边缘点。

aerfa1对应的点违背g(x)目标条件很多，意味着离边界很远

aerfa2对应的点和边界是另一个方向的远。对它两个的aerfa同时更新

如两个点的标签相同，aerfa一个多，一个少。相当于一个aerfa置0，另一个为aerfa变大

即一个分的很好，另一个错的很离谱。

不同的话一起增加或减少，两个同时向0逼近或者向c逼近

即都分的很好，或者很差）

我发现，当|E1-E2|越大时，优化后的α1、α2改变越大。所以，如果E1是正的，那么E2越负越好，如果E1是负的，那么E2越正越好。这样，我就能选到我的α2啦。

优化α1、α2，让它们对应的样本违反g(x)目标条件变轻，但是我可以让它们优化后目标函数的值变小啊！使目标函数变小，肯定是朝着正确的方向优化！也就肯定是朝着使违反g(x)目标条件变轻的方向优化，二者是一致的。

此时，将α1、α2看做变量，其他分量看做常数，对偶问题就是一个超级简单的二次函数优化问题：

其中：

至此，这个问题已经变得超级简单了！

举例来说明一下，假设y1和y2都等于1，那么第一个限制条件就变成了

首先，将α1=K-α2代入目标函数，这时目标函数变成了关于α2的一元函数，对α2求导并令导数为0可以求出α2_new。

然后，观察限制条件，第一个条件α1=K-α2相当于
0≦K-α2≦C
进而求得：
K-C≦α2≦K，再加上原有的限制
0≦α2≦C，可得
max（K-C，0）≦α2≦min（K，C）

如果α2_new就在这个限制范围内，OK！求出α1_new，完成一轮迭代。如果α2_new不在这个限制范围内，进行截断，取边界情况，得到新的α2_new_new,据此求得α1_new_new，此轮迭代照样结束！！