基于麻雀搜索算法的同步优化特征选择 - 附代码

基于麻雀搜索算法的同步优化特征选择 - 附代码


摘要:针对传统支持向量机在封装式特征选择中分类效果差、子集选取冗余、计算性能易受核函数参数影响的不足, 利用麻雀优化算法对其进行同步优化。

1.数据集

wine 数据的来源是 UCI 数据库 , 记录的是在意大利同一区域里三种不同品种的葡萄酒的化学成分分析,数据里含有 178 个样本,每个样本含有 13 个特征分量(化学成分〉,每个样本 的类别标签已给。将这 178 个样本的 50%作为训练集,另 50%作为测试集 ,用训练集对 SVM 进行训练可以得到分类模型,再用得到的模型对测试集进行类别标签预测。

整体数据存储在 chapter_WineClass. mat ,解释如下: classnumber = 3 ,记录类别数目;

wine, 178 × 13 的 一个 double 型的矩阵,记录 178 个样本的 13 个属性;

wine_ labels, 178 × 1的 一个 double 型的列向盘,记录 178 个样本各自的类别标签 。

请添加图片描述

图1.数据集

2.SVM模型建立

首先需要从原始数据里把训练集和测试集提取出来,然后进行一定的预处理(必要的时候 还需要进行特征提取),之后用训练集对 SVM 进行训练,最后用得到的模型来预测测试集的分类标签。
请添加图片描述

图2.SVM模型

其中数据预处理采用归一化处理:对训练集和测试集进行归一化预处理,采用的归一化映射如下 。
y = x − x m i n x m a x − x m i n (1) y = \frac{x-x_{min}}{x_{max} - x{min}} \tag{1} y=xmaxxminxxmin(1)

3.麻雀搜索算法同步优化特征选择

​ 在元启发式群智能算法优化计算时, 对于不同的优化问题, 种群个体代表不同含义. 针对特征选择问题而言, 其实质是二元优化问题, 优化后的选择特征结果表示仅限于“0”与“1”, 值“0”表示未选择该特征, 值“1”表示选择该特征. 优化选择特征时, 种群的个体解可视为一维向量, 每个维度的原始数据值与 0.5 比较, 大于等于 0.5 则选择该特征, 否则剔除该特征.特征选择可视为多个目标优化问题, 当分类结果中分类准确率较高, 选择特征子集个数较少时说明所得分类效果优秀. 在算法迭代过程中, 一般采用适应度函数来评估每个解的质量. 为了平衡分类准确率和特征子集个数这两个指标.因此,根据SVM分类器所得到的解的分类准确率与特征选择的所选特征子集个数, 设计适应度函数 如下所示:
f i t e n e s s = a r g m a x ( a c c u r a c y [ p r e d i c t ( t r a i n ) ] + a c c u r a c y [ p r e d i c t ( t e s t ) ] + 1 − r / N ) fiteness = argmax(accuracy[predict(train)]+accuracy[predict(test)] + 1 - r/N) fiteness=argmaxaccuracy[predict(train)]+accuracy[predict(test)]+1r/N
其中accuracy[predict(train)],accuracy[predict(test)]分别为训练集和测试集(验证集)准确率,根据自身需要看是只用训练集准确率还是综合考虑验证集准确率,r为选择的特征个数,N为总特征个数。

由于麻雀是求极小值,将目标求最大值转换为求极小值
f i t n e s s = − f i t n e s s fitness = -fitness fitness=fitness
请添加图片描述

4.测试结果

麻雀算法参数设置如下:

%%  麻雀参数设置
% 定义优化参数的个数,在该场景中,优化参数的个数为数据集特征总数 。
%目标函数
fobj = @(x) fun(x,train_wine_labels,train_wine,test_wine_labels,test_wine); 
% 优化参数的个数 特征维度
dim = size(train_wine,2); %特征维度
% 优化参数的取值下限,[0,1],大于0.5为选择该特征,小于0.5为不选择该特征
lb = 0;
ub = 1;
%%  参数设置
pop =10; %麻雀数量
Max_iteration=50;%最大迭代次数             
%% 优化
[Best_pos,Best_score,curve]=SSA(pop,Max_iteration,lb,ub,dim,fobj); 

请添加图片描述
请添加图片描述

基础SVM训练集最终预测准确率:100
基础SVM测试集最终预测准确率:98.8764
SSA特征选择后SVM训练集最终预测准确率:100
SSA特征选择后SVM测试集最终预测准确率:100
总特征数:13
麻雀算法选择的特征总数:9
麻雀算法选择的特征(0为不选择,1为选择):1 0 0 1 1 1 1 0 0 1 1 1 1

从结果来看,经过特征选择后,特征数明显减少,由13维变为9维,而且训练集和测试集精度均能达到比较好的结果。

5.参考文献:

[1]贾鹤鸣,姜子超,李瑶.基于改进秃鹰搜索算法的同步优化特征选择[J/OL].控制与决策:1-9[2021-11-02].https://doi.org/10.13195/j.kzyjc.2020.1025.

6.Matlab代码

  • 2
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
麻雀搜索算法是一种优化算法,它模拟麻雀在寻找食物和避免危险的行为,通过觅食和逃避的循环迭代搜索最优解。这种算法在许多领域都得到了应用,包括机器学习领域中的svm回归预测。 svm回归是一种通过寻找最优超平面来进行回归预测的机器学习算法。通过使用麻雀搜索算法优化svm回归模型,可以更好地优化模型的性能和预测准确度。 下面是一个使用麻雀搜索算法优化svm回归预测的简单示例代码: ``` import numpy as np from sklearn import svm from sklearn.model_selection import cross_val_score from sko.MASO import MASO from sko.SA import SA from sko.AFSA import AFSA # 定义麻雀搜索算法的适应度函数 def svm_fitness(x, y, c, gamma): clf = svm.SVR(C=c, kernel='rbf', gamma=gamma) clf.fit(x, y) scores = cross_val_score(clf, x, y, cv=5, scoring='neg_mean_squared_error') return -np.mean(scores) # 数据集 X = np.random.rand(100, 10) y = np.random.rand(100) # 麻雀搜索算法 maso = MASO(svm_fitness, n_dim=2, n=20, max_iter=100, x0=[10, 0.1], ub=[100, 1], lb=[1, 0.01]) c, gamma = maso.run(X, y) # SVM回归模型 clf = svm.SVR(C=c, kernel='rbf', gamma=gamma) clf.fit(X, y) # 预测结果 y_pred = clf.predict(X) mse = np.mean((y_pred-y)**2) print('MSE:', mse) ``` 代码中使用了MASO算法进行参数寻优,其中n_dim表示参数维度,n表示种群大小,max_iter表示迭代次数,x0, ub, lb分别为初始值、上限和下限。在适应度函数中,定义了svm回归模型和交叉验证指标,返回交叉验证误差的相反数。 运行代码后,我们可以获得最优的C和gamma参数,然后使用这些参数训练SVM回归模型,并进行预测和误差评估。 综上,麻雀搜索算法优化的svm回归预测能够提升模型性能和预测准确度,是一种有效的机器学习算法

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智能算法研学社(Jack旭)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值