LS-TWSVM

目录

1. 最优化问题

2. 求解

3. 算法流程

---

        在 TWSVM 中，利用拉格朗日乘子构建一个对偶问题并进行求解，但时间开销仍然比较大，对此有人提出了用最小二乘法来求解原始问题，求解之前需要对原始问题做一定的变换，将不等式约束变成等式约束。

1. 最优化问题

LS-TWSVM 的最优化问题定义如下，以其中一个超平面为例子：

该公式的最小化项的首项是正样本点到超平面的距离平方和，等式约束的目的是所有的负样本点到该超平面的距离在 1 附近，最小化公式的第二项就是这个误差的平方和。

2. 求解

        首先将约束公式代入到最小化公式中得到：

求其对  的偏导并令偏导等于 0 可以得到如下两个式子，求解过程类似 TWSVM：

---

结合这两个式子可以得到：

转化一下：

即：

其中  来自于 ， 同理。

---

提取  得到：

等同于：

令 ，则有：

同理，求出另一个超平面的公式为：

        在对一个新的数据进行分类时，只需要计算它到两个超平面的距离，它的类别就是距离更近的超平面对应的类别。

3. 算法流程

1. 按上面公式计算矩阵 E 和矩阵 F
2. 选择超参数 c1 和 c2
3. 按上面公式计算平面的超参数
4. 分类时，计算样本点到两个超平面的距离