ELS-TWSVM

前述知识:

  1. TWSVM
  2. LS-TWSVM

        与TSVM相比,LS-TSVM 的关键优势是 LS-TSVM 是一种非常快速和简单的算法。ELS-TWSVM(基于能量的双最小二乘支持向量机) 的目的是改善 LS-TSVM 的鲁棒性。

        基于能量的 LS-TSVM 为每个超平面的引入能量的概念来提高其鲁棒性,引入能量后的原始最优化问题为(以其中一个超平面为例):

\left\{\begin{matrix} \min _{w_1, b_1} & \frac{1}{2} \left \| Aw_1+e_1b_1 \right \|^2+\frac{1}{2}c_1q^Tq \\ s.t. & -(Bw_1+e_2b_1)+q=E_1 \end{matrix}\right.

其中另一个超平面的最优化问题类似:

\left\{\begin{matrix} \min _{w_2, b_2} & \frac{1}{2} \left \| Bw_2+e_2b_2 \right \|^2+\frac{1}{2}c_2p^Tp \\ s.t. & -(Aw_2+e_1b_2)+p=E_2 \end{matrix}\right.

将原始最优化问题的等式约束添加到最小化项中得到:

\min_{w_1,b_1}\frac{1}{2}\left \| Aw_1+e_1b_1 \right \|^2+\frac{1}{2}c_1\left \| Bw_1+e_2b_1+E_1 \right \|^2

求其对 w_1, b_1 的偏导并等于 0 得到:

A^T(Aw_1+e_1b_1)+c_1B^T(Bw_1+e_2b_1+E_1)=0

e_1^T(Aw_1+e_1b_1)+c_1e_2^T(Bw_1+e_2b_1+E_1)=0

结合两项可以得到:

c_1\begin{bmatrix} B^TB & B^Te_2\\ e_2^TB & e_2^Te_2 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} + \begin{bmatrix} A^TA & A^Te_1\\ e_1^TA & e_1^Te_1 \end{bmatrix} \begin{bmatrix} w_1\\ b_1 \end{bmatrix} +c_1 \begin{bmatrix} B^TE_1\\ e_2^TE_1 \end{bmatrix}=0

就可以解得:

\begin{bmatrix} w_1\\ b_1 \end{bmatrix} =-c_1 \begin{bmatrix} c_1\begin{bmatrix} B^T\\ e_2^T \end{bmatrix} \begin{bmatrix} B & e_2 \end{bmatrix} + \begin{bmatrix} A^T\\ e_1^T \end{bmatrix} \begin{bmatrix} A & e_1 \end{bmatrix} \end{bmatrix}^{-1} \begin{bmatrix} B^TE_1\\ e_2^TE_1 \end{bmatrix}


        得到两个超平面后,对于需要预测的点,它的类别就是离它近的超平面所属的类别。与 LS-TSVM 相比:

  1. LS-TSVM的约束要求超平面与另一类的点的距离正好为1,它使得LS-TSVM对异常值很敏感;ELS-TSVM为每个超平面引入了一个能量,根据先验知识或网格搜索,选择了不同的能量参数,以减少噪声和异常值的影响
  2. 其次,ELS-TSVM 和 LS-TSVM 的决策函数完全不同。从原始问题中直接得到了 ELS-TSVM 的决策函数。但是,在 LS-TSVM 中,计算点到平面的垂直距离。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值