matlab自带的sbs算法,SFS与SBS特征选择算法

最新推荐文章于 2024-03-29 09:35:43 发布
最新推荐文章于 2024-03-29 09:35:43 发布
阅读量2k 收藏 12
点赞数 2
文章标签： matlab自带的sbs算法

(1)序列前向选择( SFS , Sequential Forward Selection )

算法描述：特征子集X从空集开始，每次选择一个特征x加入特征子集X，使得特征函数J( X)最优。简单说就是，每次都选择一个使得评价函数的取值达到最优的特征加入，其实就是一种简单的贪心算法。

c5dc6dbe4dcd5bfdd4aca118f0423d91.png

d45982f3dd87b071a47b93e664801549.png

算法评价：缺点是只能加入特征而不能去除特征。例如：特征A完全依赖于特征B与C，可以认为如果加入了特征B与C则A就是多余的。假设序列前向选择算法首先将A加入特征集，然后又将B与C加入，那么特征子集中就包含了多余的特征A。

代码：

MATLAB

%----4.17编 顺序前进法特征选择 成功!

clear;

clc;

%--------特征导入 请自行修改

M=512;N=512;

load coourfeature16_0521_Aerial1 %%%共生矩阵 96.14％

wfeature{1}=coourfeature(:,1);

wfeature{2}=coourfeature(:,2);

wfeature{3}=coourfeature(:,3);

load fufeature_0521_SARAerial1_512%%复小波 98.26％

for i=1:13

wfeature{3+i}=wavefeature(:,i);

end

load wavefeature_0521_SARAerial1_512%%%非下采样小波 97.58％

for i=1:7

wfeature{16+i}=wavefeature(:,i);

end

load wavefeature_0521_Aerial1%%小波 97.65％

for i=1:7

wfeature{23+i}=wavefeature(:,i);

end

% load rwt_cofeature96_0423_lsy1

% for i=1:96

% wfeature{30+i}=feature(:,i);

% end

%%%%%%%----------归一化

[m n]=size(wfeature{1});

for j=1:30%一共30组特征 这里 请自行修改

mx=max(wfeature{j});

mi=min(wfeature{j});

mxx=(mx-mi);

mii=ones([m n])*mi;

wfeature{j}=(wfeature{j}-mii)./mxx;

end

%%---------------SFS 先选4个特征尝试

chosen=[];%%表示已选的特征

chosen=[chosen 1];

Jc=0;%%选出的Ｊ值

for j=1:5 %选5个特征

J=zeros([1 30]);

for i=2:30 %一共30组特征 这里 请自行修改

[mm nn]=size(chosen);

for p=1:nn

if i==chosen(p)

J(i)=0;

break;

else

J(i)=J(i)-sum(sum((wfeature{i}-wfeature{chosen(p)}).^2));

end

end

end

mi=min(J);

for i=1:30

if J(i)==0

J(i)=mi;

end

end

ma=max(J);

for i=1:30

if J(i)==ma

chosen=[chosen i];

break;

end

end

end

save Aerial1_6t_chosen chosen

[mm nn]=size(chosen);

tezh=[];

for i=1:nn

tezh=[tezh wfeature{chosen(i)}];

end

%%%%%%%%聚类

[IDC,U]=kmeans(tezh,2);

cc(IDC==1,1)=0;

cc(IDC==2,1)=0.75;

g=reshape(cc,M,N);

figure,imshow(g);

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

%----4.17编顺序前进法特征选择成功!

clear;

clc;

%--------特征导入请自行修改

M=512;N=512;

loadcoourfeature16_0521_Aerial1%%%共生矩阵 96.14％

wfeature{1}=coourfeature(:,1);

wfeature{2}=coourfeature(:,2);

wfeature{3}=coourfeature(:,3);

loadfufeature_0521_SARAerial1_512%%复小波  98.26％

fori=1:13

wfeature{3+i}=wavefeature(:,i);

end

loadwavefeature_0521_SARAerial1_512%%%非下采样小波  97.58％

fori=1:7

wfeature{16+i}=wavefeature(:,i);

end

loadwavefeature_0521_Aerial1%%小波 97.65％

fori=1:7

wfeature{23+i}=wavefeature(:,i);

end

%loadrwt_cofeature96_0423_lsy1

%fori=1:96

%wfeature{30+i}=feature(:,i);

%end

%%%%%%%----------归一化

[mn]=size(wfeature{1});

forj=1:30%一共30组特征 这里 请自行修改

mx=max(wfeature{j});

mi=min(wfeature{j});

mxx=(mx-mi);

mii=ones([mn])*mi;

wfeature{j}=(wfeature{j}-mii)./mxx;

end

%%---------------SFS先选4个特征尝试

chosen=[];%%表示已选的特征

chosen=[chosen1];

Jc=0;%%选出的Ｊ值

forj=1:5%选5个特征

J=zeros([130]);

fori=2:30%一共30组特征 这里 请自行修改

[mmnn]=size(chosen);

forp=1:nn

ifi==chosen(p)

J(i)=0;

break;

else

J(i)=J(i)-sum(sum((wfeature{i}-wfeature{chosen(p)}).^2));

end

end

end

mi=min(J);

fori=1:30

ifJ(i)==0

J(i)=mi;

end

end

ma=max(J);

fori=1:30

ifJ(i)==ma

chosen=[choseni];

break;

end

end

end

saveAerial1_6t_chosenchosen

[mmnn]=size(chosen);

tezh=[];

fori=1:nn

tezh=[tezhwfeature{chosen(i)}];

end

%%%%%%%%聚类

[IDC,U]=kmeans(tezh,2);

cc(IDC==1,1)=0;

cc(IDC==2,1)=0.75;

g=reshape(cc,M,N);

figure,imshow(g);

(2)序列后向选择( SBS , Sequential Backward Selection )

算法描述：从特征全集O开始，每次从特征集O中剔除一个特征x，使得剔除特征x后评价函数值达到最优。

算法评价：序列后向选择与序列前向选择正好相反，它的缺点是特征只能去除不能加入。

a43e6aefa1f6eabddfd5e3633df426f8.png

代码：

MATLAB

%----4.17编 顺序后退法特征选择

clear;

clc;

%--------特征导入 请自行修改

A=imread('lsy1.gif');

[M N]=size(A);

load coourfeature_0414_lsy1 %%%共生矩阵 96.14％

feature{1}=coourfeature(:,1);

feature{2}=coourfeature(:,2);

feature{3}=coourfeature(:,3);

load fuwavefeature_0413_lsy1 %%复小波 98.26％

for i=1:13

feature{3+i}=wavefeature(:,i);

end

load wavefeature_0413_feixia_lsy1%%%非下采样小波 97.58％

for i=1:7

feature{16+i}=wavefeature(:,i);

end

load wavefeature_0417_lsy1%%小波 97.65％

for i=1:7

feature{23+i}=wavefeature(:,i);

end

%%%%%%%----------归一化-归一化

[m n]=size(feature{1});

for j=1:30%一共30组特征 这里 请自行修改

mx=max(feature{j});

mi=min(feature{j});

mxx=(mx-mi);

mii=ones([m n])*mi;

feature{j}=(feature{j}-mii)./mxx;

end

%%---------------SBS

chosen=[];dele=[];

for i=1:30

chosen=[chosen i];

end

for j=1:24 %%删10个,留20个

J=zeros([1 30]);ii=0; %J(1)是删1的结果,J(2)是删除2 的结果......

for i=1:30 %???dele 是必要的么???????????????????????%一共30组特征 这里 请自行修改

[mm nn]=size(chosen);

for p=1:nn

if sum(i==dele)~=0

J(i)=0;

break;

else

for q=1:nn

if (chosen(q)~=i) & (chosen(p)~=i)

J(i)=J(i)-sum(sum((feature{chosen(q)}-feature{chosen(p)}).^2));

end

end

end

end

end

mi=min(J);

for cc=1:30

if J(cc)==0

J(cc)=mi;

end

end

[ma we]=max(J);

dele=[dele we];

for dd=1:nn

if chosen(dd)==we

chosen(dd)=[];

end

end

% chosen=[2 4 5 6 7 8 9 11 12 13 14 19 20 22 23 26 27 28 29 30];

[mm nn]=size(chosen);

tezh=[];

for i=1:nn

tezh=[tezh feature{chosen(i)}];

end

%%%%%%%%聚类

[IDC,U]=kmeans(tezh,2);

cc(IDC==1,1)=0;

cc(IDC==2,1)=0.75;

g=reshape(cc,M,N);

figure,imshow(g);

%%%%%%%%%%%%计算正确率

ju=ones(M)*0.75;

for i=1:M

for j=1:M/2

ju(i,j)=0;

end

end

ju2=g-ju;

prob=prod(size(find(ju2~=0)))/(m*n)

1-prob

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

%----4.17编顺序后退法特征选择

clear;

clc;

%--------特征导入请自行修改

A=imread('lsy1.gif');

[MN]=size(A);

loadcoourfeature_0414_lsy1%%%共生矩阵 96.14％

feature{1}=coourfeature(:,1);

feature{2}=coourfeature(:,2);

feature{3}=coourfeature(:,3);

loadfuwavefeature_0413_lsy1%%复小波  98.26％

fori=1:13

feature{3+i}=wavefeature(:,i);

end

loadwavefeature_0413_feixia_lsy1%%%非下采样小波  97.58％

fori=1:7

feature{16+i}=wavefeature(:,i);

end

loadwavefeature_0417_lsy1%%小波 97.65％

fori=1:7

feature{23+i}=wavefeature(:,i);

end

%%%%%%%----------归一化-归一化

[mn]=size(feature{1});

forj=1:30%一共30组特征 这里 请自行修改

mx=max(feature{j});

mi=min(feature{j});

mxx=(mx-mi);

mii=ones([mn])*mi;

feature{j}=(feature{j}-mii)./mxx;

end

%%---------------SBS

chosen=[];dele=[];

fori=1:30

chosen=[choseni];

end

forj=1:24%%删10个,留20个

J=zeros([130]);ii=0;%J(1)是删1的结果,J(2)是删除2 的结果......

fori=1:30%???dele 是必要的么???????????????????????%一共30组特征 这里 请自行修改

[mmnn]=size(chosen);

forp=1:nn

ifsum(i==dele)~=0

J(i)=0;

break;

else

forq=1:nn

if(chosen(q)~=i)&(chosen(p)~=i)

J(i)=J(i)-sum(sum((feature{chosen(q)}-feature{chosen(p)}).^2));

end

end

end

end

end

mi=min(J);

forcc=1:30

ifJ(cc)==0

J(cc)=mi;

end

end

[mawe]=max(J);

dele=[delewe];

fordd=1:nn

ifchosen(dd)==we

chosen(dd)=[];

end

end

%chosen=[245678911121314192022232627282930];

[mmnn]=size(chosen);

tezh=[];

fori=1:nn

tezh=[tezhfeature{chosen(i)}];

end

%%%%%%%%聚类

[IDC,U]=kmeans(tezh,2);

cc(IDC==1,1)=0;

cc(IDC==2,1)=0.75;

g=reshape(cc,M,N);

figure,imshow(g);

%%%%%%%%%%%%计算正确率

ju=ones(M)*0.75;

fori=1:M

forj=1:M/2

ju(i,j)=0;

end

end

ju2=g-ju;

prob=prod(size(find(ju2~=0)))/(m*n)

1-prob

另外，SFS与SBS都属于贪心算法，容易陷入局部最优值。

weixin_39655085
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 Matlab 进行特征选择：选择使正确分类率最大化的特征子集。-matlab开发
05-30
DEMO 包含 5 种特征选择算法： • 顺序前向选择 (SFS) • 顺序浮动前向选择 (SFFS) •顺序向后选择（SBS） • 顺序浮动向后选择 (SFBS) • 救济F 两种CCR估算方法： • 交叉验证• 重新替换 选择最佳特征子集后，得到的分类器可用于对任何模式进行分类。 图：上图是pattern x特征矩阵左下面板是选择的功能右下图是特征选择步骤中的 CCR 曲线右侧面板是一些模式的分类结果。 该软件是使用 Matlab 7.5 和 Windows XP 开发的。 版权所有：D. Ververidis 和 C.Kotropoulos AIIA 实验室，希腊塞萨洛尼基， jimver@aiia.csd.auth.gr costas@aiia.csd.auth.gr 为了运行演示： 为了运行演示： - 需要一台装有 Windows XP 的电脑。 - 使用 Matl
SFS算法的三维重构MATLAB代码
12-05
利用sfs算法对目标在不同角度的拍摄图像进行三维重构的MATLAB代码
【机器学习】包裹式特征选择之序列后向选择法
最新发布
m0_74195174的博客
03-29 1053
本文将详细介绍序列后向选择法的概念、具体步骤、优缺点及适用场景，并通过代码示例进行分析，帮助读者更好地理解和应用这一方法。
matlab 特征选择算法 序列浮动前向选择算法 SFFS
01-19
matlab 特征选择算法 序列浮动前向选择算法 SFFS
基于随机森林实现特征选择降维及回归预测（Matlab代码实现）
weixin_46039719的博客
03-16 5435
可以看到，使用两个特征进行预测的准确度为85.2077，与使用所有特征进行预测的准确度相差不大，这表明随机森林特征选择方法有效的选择出了最重要的特征，实现了从大量特征到少数重要特征的特征降维筛选，极大的降低了特征的冗余性。当随机森林评价完成特征的重要性后，还需要对各个特征变量之间的相关性进行评估，以更加明显的看出何种特征最能影响预测结果，使用皮尔逊系数作为各个特征变量之间的相关性评价指标，从下图可以看出，越接近黄色表示相关性越强。2.确定要剔除的比例，依据特征重要性剔除相应比例的特征，得到一个新的特征集。
特征选择常用算法综述
weixin_34007906的博客
05-03 3995
1 综述   (1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。   (2) 为什么要做特征选择        在机器学习的实际应用中，特征数量往往较多，其中...
特征选择
热门推荐
sina012345的专栏
10-04 2万+
(1)什么是特征选择 特征选择 ( FeatureSelection )也称特征子集选择(Feature Subset Selection , FSS ) ，或属性选择( AttributeSelection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。   (2)为什么要做特征选择        在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之
特征选择，SFS（顺序向前）与SBS（顺序向后）matlab源码&解析
班吉拉的博客
05-09 3406
特征选择，SFS（顺序向前）与SBS（顺序向后）matlab源码&解析 这边文章将会讲解最基础的SFS algorithm & SBS algorithm. SFS-matlab %% SFS function [X,MaxF] = SFS(gN) MaxTimes = 4800; times = 0;%迭代次数 X = randsrc(1,gN,[0,1;0.5,0.5]);%随机初始解 % X = zeros(1,gN);%初始特征向量 MaxF = 0;%最佳适应度值 while t
算法选择_机器学习算法：特征选择神器FeatureSelector
weixin_39604350的博客
12-17 572
主要内容：为什么要进行特征选择？什么是特征选择？怎么进行特征选择特征选择：在现实生活中，一个对象往往具有很多属性(以下称为特征)，这些特征大致可以被分成三种主要的类型：相关特征：对于学习任务(例如分类问题)有帮助，可以提升学习算法的效果；无关特征：对于我们的算法没有任何帮助，不会给算法的效果带来任何提升；冗余特征：不会对我们的算法带来新的信息，或者这种特征的信息可以由其他的特征推断出；但是对于一个...
MATLAB中iterate程序,sbs的matlab程序，每行都是什么意思呢
weixin_29061041的博客
03-16 501
%%%%%%%%Experimental and Modeling Studies of a Brillouin Amplifier%%%%%%%%%clc;clear;format long;%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%FC-72%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%c=2.998e8;n=1.251;tauB=1.2e-...
MATLAB智能算法30个案例分析学习笔记
wghdcsdn的博客
07-07 1680
这里写自定义目录标题基于混合和粒子群算法的TSP搜索算法混合粒子群功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 基于混合和粒子群算法的TSP搜索算法 混合粒子群 与粒子群优化算法不同，传统算法通过跟踪极值来更新粒子的位置（极值包
matlab开发-AMDSBSSB
11-16
matlab开发-AMDSBSSB。DSB-AM、DSB-SC、SSB-SC的时域仿真。
SFS matlab代码
05-19
SFS相关的C语言代码，供大家学习使用
特征选择各算法Matlab实现
04-19
• Sequential Forward Selection (SFS) • Sequential Floating Forward Selection (SFFS) • Sequential Backward Selection (SBS) • Sequential Floating Backward Selection (SFBS) • ReliefF
SFS代码1_SFS_SFS算法_SFS特征选择_序列前向选择_源码
10-04
实现特征选择的前向序列算法，又称为集合增加法。
SFS代码3_SFS算法_SFS特征选择_sfsmatlab_序列前向选择_
09-29
序列前向选择方法（SFS）
matla特征降维搜索算法，sfs,sffs等搜索算法
02-22
matlab特征降维里面的搜索算法。sfs,sbs,sffs等 。包含训练和测试
特征选择算法 | Matlab实现基于互信息特征选择算法的分类数据特征选择 MI
算法如诗的博客
07-08 282
特征选择算法 | Matlab实现基于互信息特征选择算法的分类数据特征选择 MI
madlab自带的sfs算法
05-15
Madlab自带的SFS算法是一种特征选择算法，它的全称为Sequential Forward Selection。其主要思想是：从初始为空的特征集合开始，每次添加一个最佳特征，直到满足某种特定的终止条件为止。 SFS算法包括两个主要过程：特征选择过程和停止条件的判断。在特征选择过程中，首先将空特征集合作为初始特征集合，每次在候选特征集合中选择一个特征，将其加入特征集合，即S集合，其中此特征的加入要使得S集合的分类性能能得到改进。该过程会迭代进行，直到达到预设的停止条件为止。 停止条件有许多种，如当特征数量超出预设范围，当加入新特征不能显著提高分类性能，或者达到一定的迭代次数等。 SFS算法的主要优点是不依赖于先验知识，且迭代过程中分类性能持续提高，但是其计算复杂度高，多次迭代也可能导致过拟合。因此，SFS算法在实际应用中需要谨慎使用，根据具体情况进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值