Luff_-CSDN博客

原创 TWSVM存在的问题

twsvm的3个优点:1.由一个大的二次规划问题拆成两个小的二次规划问题，训练速度大约提升了四倍。2.利用二次损失函数，TWSVM充分考虑了类中的先验信息，对噪声不太敏感。3.TWSVM对于二维数据的预测非常有用。1.在TWSVM的原始问题中，只有经验风险被最小化，不像标准SVM中，同时最小化结构风险和经验风险。2.为了避免奇异矩阵的问题，引入了一个小的误差，无法获得最优解，只能获得近似解。3.虽然TWSVM解决了两个较小的QP，但在训练模型之前，需要计算逆矩阵。因此，TWSVM的计算.

2021-04-20 19:17:51 679 1

原创高光谱资料整理

高光谱资料整理高光谱数据集高光谱数据的处理特征选择与提取方法特征选择特征提取高光谱数据集一些常用的数据集http://www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes#Indian_Pines印度松数据集（India pine）该数据集大小为145x145大小，原本为220个连续波段，剔除不能被水反射的20个波段，得到200波段的数据集。以下为india pine 数据集中所含有的的类别情况，共含有

2021-03-08 17:02:19 3623 3

原创加权最小二乘双子支持向量机（WLSTSVM）

加权最小二乘双子支持向量机（WLSTSVM）加权最小二乘支持向量机（WLSSVM）线性 WLSTSVM非线性WLSTSVM加权最小二乘支持向量机（WLSSVM）WLSSVM是对最小二乘支持向量机的增强（LSSVM其他人有很多优秀的文章，这里不再介绍），其优化为题如下：vi为权重参数，它由下式所决定：其中的s_hat 为：s_hat表示估计误差分布偏离高斯分布的程度。IQR为四分位距，MAD是中位数绝对偏差。通常常数J1和J2分别选择为2.5和3。关于LSTSVM前文已有介绍，下面为W

2021-01-10 11:33:15 1323

原创加权支持向量机（w-svm）

加权支持向量机（w-svm）加权支持向量机加权支持向量机的类别补偿加权支持向量机针对的是各类别样本数有较大差异时所存在的问题。加权支持向量机本文为（A Weighted Support Vector Machine Method and its Application）论文笔记在加权支持向量机中，惩罚参数C是针对各个样本来选择的，最优化问题如下：其中si为第i个训练样本对 C 的加权系数。采用拉格朗日乘子法求解具有线性不等式的二次规划问题，即：得到对偶式如下：计算上述二次规划问题得到判别

2021-01-10 10:31:40 3640

原创最小二乘双子支持向量机的改进（Improved LSTSVM）

Improved LSTSVMLinear improved LSTSVMNon-linear improved LSTSVMLSTSVM是利用经验风险最小化原理构造的，因此它存在过拟合问题。以下方法针对此问题做出了改进。Linear improved LSTSVM对于线性可分的数据样本，改进的LSTSVM如下:上述方程式中的附加项是用来测量两个超平面的间距的。分离度越大，泛化能力越强。将等式约束代入目标函数，可以得到如下优化问题:Non-linear improved LSTSVM利用核函

2021-01-08 10:53:18 616

原创最小二乘双子支持向量机（LSTSVM）

最小二乘双子支持向量机（LSTSVM）线性 LSTSVM非线性 LSTSVMLSTSVM不是求解一对复杂的QPPs，而是通过求解两个线性方程生成两个非平行超平面。线性 LSTSVM线性LSTSVM的优化问题为：简化可得：得到线性LSTSVM的决策函数为：距离哪个决策平面更近就分为哪类。非线性 LSTSVMLSTSVM也使用核函数对非线性可分的数据样本进行分类。将非线性LSTSVM的优化问题表述为：简化得到：将高维空间中的超平面表示为：新数据样本按以下公式分类：...

2021-01-07 12:01:50 1261

原创非平行支持向量机梳理（TWSVM系列）

GEPSVM https://blog.csdn.net/LIUGXIN/article/details/112132081TWSVM https://blog.csdn.net/LIUGXIN/article/details/112132369TBSVM https://blog.csdn.net/LIUGXIN/article/details/112142453文章持续更新中……

2021-01-05 13:27:43 764

原创孪生有界支持向量机（TBSVM）

孪生有界支持向量机（TBSVM）简介线性TBSVM简介Yuan-Hai Shao等人提出了一种改进的TWSVM，也称为孪生有界支持向量机(Twin bound Support vector Machine, TBSVM)。使用逐次超松驰（SOR）技术，针对优化问题，以提高训练过程的速度，还应用了结构风险最小化原则，在计算时间和分类精度方面，TBSVM比TWSVM更优秀。线性TBSVM与TWSVM一样，TBSVM也是寻找两个非平行的决策超平面来判别数据。目标函数与约束条件如下所示。...

2021-01-04 15:08:26 2130 20

原创孪生双子支持向量机（TWSVM）

孪生双子支持向量机（TWSVM）孪生双子支持向量机与广义特征支持向量类似都是求取两个非平行的超平面来分离数据。（广义特征支持向量机https://blog.csdn.net/LIUGXIN/article/details/112132081）但是他们在本质上是不同的。TWSVM对中的两个二次规划问题都有一个典型的SVM公式。通过求解以下公式得到TWSVM分类器二次规划问题：这里的c1、c2 为常数且 c1、c2 > 0，e1、e2为合适维度的单位向量。该算法找到两个超平面，每一类对应一个超

2021-01-03 16:20:14 7234 12

原创广义特征支持向量机（ GEPSVM）

广义特征支持向量机（ GEPSVM）这里有属于类1和-1的样本点，分别由矩阵A和B来表示，用m1和m2来分别表示两个类别的数目，因此矩阵A和B分别为（m1 x n）和（m2 x n）。GEPSVM的目的就是为了获得两个不平行的决策超平面，如下：从而使平面与1类和-1类数据点之间的欧氏距离分别最小。引出了以下优化问题：这里的e是一个适当维度的单位向量，|| ||为L2范数。此式默认（w,b）不等于0，Bw+eb不等于0。简化上式得到：优化问题可以通过引入Tikhonov regulariz

2021-01-03 10:52:50 1322 4

原创期望风险最小化、经验风险最小化、结构风险最小化

本文为阅读《关于统计学习理论与支持向量机》论文笔记风险最小化损失函数期望风险最小化经验风险最小化结构化风险最小化VC维推广性的界结构风险最小化损失函数损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。有三类基本的机器学习问题 ,即模式识别、函数逼近和概率密度估计。对模式识别问题 ,输出 y 是类别标号

2021-01-02 18:55:42 4709 1

刘广鑫的博客