最小二乘支持向量机（LSSVM）推导

个人笔记，非教程

LSSVM和SVM的区别就在于，LSSVM把原方法的不等式约束变为等式约束，从而大大方便了Lagrange乘子alpha的求解，原问题是QP问题，而在LSSVM中则是一个解线性方程组的问题。

$$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\frac{1}{2}\gamma \sum _{i=1}^N{e}_i^2$$
$$s.t.y_i(w^T{x}_i+b)=1-e_i,i=1,...,N$$

拉格朗日

$$L(w,b,e;\alpha )=J(w,e)-\sum _{i=1}^N{\alpha }_i[y_i(w^T{x}_i+b)-1+e_i]$$

求导并令其为零

$$\begin{array}{rl}\frac{\partial L}{\partial w}& =0\to w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}& =0\to 0=\sum _{i=1}^N{\alpha }_i{y}_i\\ \frac{\partial L}{\partial e_i}& =0\to {\alpha }_i=\gamma e_k,k=1,...,N\\ \frac{\partial L}{\partial a_i}& =0\to y_i(w^T{x}_i+b)-1+e_k=0,k=1,...,N\end{array}$$

转换为关于$\alpha$和$b$的线性方程组形式：

$$\left[\begin{array}{cc}0& Y^T\\ Y& (Y{Y}^T)⨀(X{X}^T)+{\gamma }^{-1}I\end{array}\right]\left[\begin{array}{c}b\\ \alpha \end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right]$$
其中$⨀$规则为将矩阵对应位置的元素分别相乘，$1$为一列1构成的向量

上面的矩阵大概长这个样子：

$(Y{Y}^T)⨀(X^{T}X)+{\gamma }^{-1}I$里的第$i$行第$j$列元素为$y_i{y}_j{x}_i^T{x}_j$