数据集划分方法：KS算法和SPXY算法原理（附源论文及代码）

已于 2022-08-27 10:14:07 修改
阅读量8.2k 收藏 68
点赞数 6
分类专栏： 近红外相关 文章标签： matlab 机器学习
于 2022-08-26 22:51:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43305107/article/details/126547428
版权
本文介绍了KS算法和SPXY算法在数据集划分中的应用，详细阐述了两者原理，包括KS算法的欧式距离选择策略和SPXY算法的x、y方向距离结合。同时，提供了SPXY算法的Matlab源代码，适用于机器学习中的数据集划分。
摘要由CSDN通过智能技术生成

博主注：在进行近红外定量预测的研究中，发现网上现存关于KS和SPXY算法的公式有误，特查询了源头论文，进行更正和记录。若有疑问之处，欢迎大家一起交流！

目录

KS算法和SPXY算法之间的联系

Kennard-Stone（KS）算法原理

SPXY算法原理

SPXY官方源代码(Matlab)

KS算法和SPXY算法之间的联系

      SPXY是基于KS算法提出的一种改进方法，KS对数据集的划分依据是计算不同样本的x向量方向（即常说的数据集的特征维度方向）的欧氏距离；而SPXY顾名思义，在此基础上增加了对不同样本的y向量方向（即常说的数据集的真实值维度方向）的欧氏距离的计算，并通过正则化将x和y方向的距离结合，更加全面的评估和划分数据集。

      KS算法最初是为了创建实验设计的响应面而开发的：原论文链接：Kennard, R.W. and Stone, L.A. (1969) Computer-aided Design of Experiments. Technometrics, 11, 137-148. https://doi.org/10.1080/00401706.1969.10490666

      对以上这篇论文的深入阅读可以跳过，因为流传较广的KS和SPXY的原理公式其实都来自提出SPXY算法的原论文（感兴趣的同学可以阅读一下）：

Galvao R K H, Araujo M C U, José G E, et al. A method for calibration and validation subset partit

最低0.47元/天 解锁文章
Rachel_Law
关注
专栏目录
光谱样本划分matlab代码（KS，SPXY）
11-07
光谱样本划分matlab代码（KS，SPXY）
sxpy方法进行样本集划分
09-08
SPXY样本划分法及蒙特卡罗交叉验证结合优化建模方程，达到最高精度。
spxy样品分类方法
06-11
matlab 中 近红外光谱分析，建模前建模集预测集分选方法，相比K-S算法运动到了y值
SPXY matlab版
03-17
SPXY 一个用于化学计量学分析中样本选择的方法源代码完整，可直接使用。
近红外光谱建模之样本集划分python实现（SPXY算法）
Joseph__Lagrange的博客
07-08 1万+
一 SPXY算法原理 SPXY算法原理（sample set partitioning based on joint x-y distance）：它是在KS算法基础上发展而来的，SPXY在样品间距离计算时将x变量和y变量同时考虑在内，其距离公式如下： 二 python代码实现 def spxy(x, y, test_size=0.2): """ :param x:...
spxy预测集选择方法
12-09
matlab代码，附件1是spxy的预测集的选择方法，是一个函数文件，需要自己编写调用代码来调用。附件2是ks的预测集的选择方法，也是一个函数文件，需要编写主函数来调用
使用KS算法和SPXY算法进行样本分类（MATLAB）
热门推荐
qq_43816569的博客
12-13 2万+
使用KS算法和SPXY算法进行样本分类 当我们进行建模分析时，在建模过程中训练集样本的选取是非常重要的，下面我将简单介绍一下其中用的较多的KS算法和SPXY算法。 Kennard-Stone算法原理（KS算法） KS算法原理：把所有的样本都看作训练集候选样本,依次从中挑选样本进训练集。首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到拥有...
kennard-stone算法实现样本集划分（ks算法）
知识搬运者
12-08 2402
KS算法原理：把所有的样本都看作训练集候选样本,依次从中挑选样本进训练集。首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到距已选样本最远以及最近的两个样本，并将这两个样本选入训练集，重复上述步骤直到样本数量达到要求。Kennard-Stone算法作用：用于数据集的划分，使用算法，将输入的数据集划分为训练集、测试集，并同时输出训练集和测试集在原样本集中的编号信息，方便样本的查找。Xp，Xq表示两个不同的样本，N代表样本的光谱波点数量。
KS（洛伦兹曲线）
love1005lin的博客
11-03 3090
KS（洛伦兹曲线） KS(Kolmogorov-Smirnov)值越大，表示模型能够将正、负客户区分开的程度越大。KS值的取值范围是[0，1] 通常来讲，KS>0.2即表示模型有较好的预测准确性。 ks求解方法： ks需要TPR和FPR两个值：真正类率(true positive rate ,TPR), 计算公式为TPR=TP/ (TP+ FN)，刻画的是分类器所识别出的 正实例占所有正实例的比例。另外一个是假正类率(false positive rate, FPR),计算公式为FPR= FP / (
KS值的计算过程
谷雨的博客
10-30 1万+
KS（kolmogorov-Smirnov）值衡量的是好坏样本累计各部分之间的差值。 好坏样本累计差异越大，KS指标越大。那么模型的风险区分能力越强。 KS的计算步骤： 1.按照模型的结果对每个账户进行打分。 2.所有账户按照评分排序，并从小到大分为10~20组。 3.计算每个评分区间的好坏账户数。（每个区间的good账户数n, 坏账户数m） 4.（1）计算每个评分区间的累计好账户数占总的好账户数的比例。（从第0个区间到第i个区间的good账户数ni 比 所有的good账户数N，ni/N） .
matlab ks挑选样本 数据划分
07-28
matlab ks挑选样本 数据划分
SPXY算法划分数据集-Matlab版
08-27
摘自SPXY提出者论文后附的代码，可以直接使用
机器学习校正集和验证集的划分方法，其中包括SPXY算法，KS算法，RS算法。.zip
06-06
2.领域：智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab仿真，更多内容可点击博主头像 3.内容：标题所示，对于介绍可点击主页搜索博客 4.适合人群：本科，硕士...
spxy.zip_SPXY 法_librarybk8_spxy _spxy样本筛选方法_样本集
07-13
"spxy样本筛选方法"和"样本集"标签则明确指出了这个压缩包关注的重点在于数据采样的策略和数据集的构建。 总的来说，这个压缩包提供的工具可以帮助数据科学家或机器学习工程师高效地处理样本集，自动化样本选择过程...
近红外光谱建模之样本集划分python实现（KS算法）
Joseph__Lagrange的博客
07-08 1万+
一 Kennard-Stone算法原理（KS算法） KS算法原理：把所有的样本都看作训练集候选样本,依次从中挑选样本进训练集。首先选择欧氏距离最远的两个样本进入训练集，其后通过计算剩下的每一个样品到训练集内每一个已知样品的欧式距离，找到距已选样本最远以及最近的两个样本，并将这两个样本选入训练集，重复上述步骤直到样本数量达到要求。 欧式距离计算公式： Xp，Xq表示两个不同的样本，N代表样...
KS的计算和理解
herr_kun的博客
07-15 7565
ks 的计算很多时候能帮助我们更好的理解 该指标的深层次含义： 下图来自知乎 风控模型—区分度评估指标(KS)深入理解应用 上述计算过程中主要有两个点不是特别的清晰， cum_bad_rate 和 cum_good_rate 其中 cum_bad_rate 就是当前以及当前之前区间的累计的 bad 数量相加，除全部的 bad 样本数量，比如 (88+65) /342 = 44.74%, 相应的就是good的计算（在计算的时候我们是知道每个样本的true label的，所以召回，准确等四宫格里面的指标 都可
光谱数据集划分（基于python）
最新发布
qq_42629547的博客
05-01 1545
本文介绍了高光谱数据集划分的三种常用方法：随机划分、SPXY算法划分和Kennard-Stone算法划分,并给出了相应的Python实现代码。这些方法可以帮助我们合理地划分数据集，有助后续的模型训练、建立和评估。在实际应用中,我们可以根据具体数据集来选择适合的划分方法。
如何划分训练集和测试集
weixin_42228294的博客
09-27 774
sklearn.model_selection中train_test_split()函数 train_test_split()是sklearn.model_selection中的分离器函数，用于将数组或矩阵划分为训练集和测试集，函数样式为： X_train, X_test, y_train, y_test = train_test_split(train_data, train_target, test_size, random_state，shuffle) 参数解释： train_data：待划分的
python实现ks算法_Python实现Dijkstra算法
weixin_39943992的博客
12-10 174
Dijkstra算法迪杰斯特拉算法是由荷兰计算机科学家狄克斯特拉于1959 年提出的，因此又叫狄克斯特拉算法。是从一个顶点到其余各顶点的最短路径算法，解决的是有向图中最短路径问题。迪杰斯特拉算法主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。迪杰斯特拉算法是求从某一个起点到其余所有结点的最短路径，是一对多的映射关系，是一种贪婪算法示例：算法算法实现流程思路：迪杰斯特拉算法每次只找离起点最...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值