实验二 势函数算法的迭代训练

实验二 势函数算法的迭代训练

一．实验目的

通过本实验的学习，使学生了解或掌握模式识别中利用势函数思想设计非线性判别函数的方法，能够实现模式的分类。学会运用已学习的先导课程如数据结构和算法设计知识，选用合适的数据结构完成算法的设计和程序的实现。并通过训练数据来建立非线性判别函数,通过代待分类样本进行分类预测,通过检查预测结果和数据的几何分布特性检验分类器的正确性。通过选用此种分类方法进行分类器设计实验，强化学生对非线性分类器的了解和应用，从而牢固掌握模式识别课程内容知识。

二. 势函数法基本思想

假设要划分属于两种类别
和 的模式样本，这些样本可看成是分布在 维模式空间中的点
。
把属于
的点比拟为某种能源点，在点上，电位达到峰值。
随着与该点距离的增大，电位分布迅速减小，即把样本附近空间点上的电位分布，看成是一个势函数
。
对于属于
的样本集群，其附近空间会形成一个"高地"，这些样本点所处的位置就是"山头"。
同理，用电位的几何分布来看待属于
的模式样本，在其附近空间就形成"凹地"。
只要在两类电位分布之间选择合适的等高线，就可以认为是模式分类的判别函数。

三．实验内容

假定对病人3项主要指标检查得到正常（ 类）和非正常（ 类）的数据如下：
类： （1，2， 5）， (1，1， 2），（3，3，6）;
类： （5，6，10），（7，6，11），（8，7，12）.

四．实验步骤

1、选定势函数（3个双变量对称基函数中选1;或做成多选的，实现人工自动选择）；
2、确定合适数据结构，以便分别完成势函数和判别函数的正确表示；
3、对训练样本加以训练学习，建立判别函数,使其满足分类要求
4、记录并输出训练轮次；
5、对所有样本的类别用你的分类器加以判断(分类决策),比较与实际类别的差异；
6、对待分类样本进行判断，得到其类别（预测），如可能，以几何分布情况加以说明；
7、输出你的判别函数的表达形式（注意：表达形式要求便于阅读理解）。

五．测试

1、先测试已有样本的正确性。
2、用待分类数据加以分类。这里，对样本： （2，3，5），（6，7，10）
分别测试，检查它们几何分布情况是否与得到的分别属于 类和 类的结果相符，从而确认所设计的分类器是正确的。

六．实现提示

1）样本存放在矩阵s中，s的每一行是一个样本，为方便编程，可将类别号增加在每个样本中，作为最后一维；
2）为了保存和计算判别函数,可使用一个辅助的结构数组ftbl,该数组的每个分量含两个成分:index和symbol。 index记录对应样本下标号，symbol记录该项的符号。

七. 代码实现

% 用势函数法设计非线性判别器

n=6;  % n表示样本总数。这里n=6,前3个样本属于第一类，后三个样本属于第二类
m=30; % 判别函数最大的项数
d=3;  % d表示维长 
r=0;  % r表示在判别函数中所具有的项数（每项是一个基函数，含3个坐标分量（维度=3））
tag=1; %判断是否继续循环的标志量
g=0;
% 样本
s=[ 1,2, 5,1    
   1,1, 2,1    
   3,3, 6,1    
   5,6,11,2
   7,6,11,2  
   8,7,12,2];   % 第4列表示类别: 1表示属于第1类 % 2表示属于第2类
run=0; % run为轮次，初值置为0
while tag==1
   run=run+1;
   tag=0;
   for k=1:n  % n表示样本总数。
     if r==0   % r==0表示判别函数还不含任何项时   
	    r=r+1;            %r指向到目前为止所得到的势函数的最后一项，此时准备含第一个项
        % ftbl为结构数组，数组每个分量含index和symbol两个成分，分别记录样本号和符号
	    ftbl(r).symbol=1;  % 该项的符号。 1--正；-1--负
	    ftbl(r).index=1;   % 该项对应的样本下标号
	    continue;          
     else 
		  g=0;
          % 将当前的第k个样本先代入已建立的部分判别函数中进行计算，再判断分类是否正确
	      for i=1:r % i为扫描每一项的整数变量
		    temp=0;
	        for j=1:d    % d表示维长。这里，d实际上为3，即d=3
	          temp=temp+(s(k,j)-s(ftbl(i).index,j))*(s(k,j)-s(ftbl(i).index,j));
            end
	        g= g+ftbl(i).symbol*exp(-temp);  %每项都是一指数形式,求出共r项的和         
          end     
	      if ((g>0 &s(k,4)==1)||(g<0&s(k,4)==2)) 
              continue;  %正确分类时，不修改判别函数
          else  % 当前样本要构成一项保存到判别表达式中
			   tag=1;
               r=r+1; 
			   ftbl(r).index=k;
	  	       if(g>0& s(k,4)==2)  
				       ftbl(r).symbol=-1;
		       else if(g<0&s(k,4)==1)
				       ftbl(r).symbol=1;
                    end
               end
          end
   end
  end
end
fprintf('所循环的轮次= %d',run);
fprintf('\n输出判别函数的表达式:\n');
% 输出判别函数,即输出判别函数的每一项。通过输出结构数组ftbl中的每一分量
for i=1:r
    % 输出第i项 
    if(ftbl(i).symbol==1)
	    if i==1 
            fprintf('exp{-[(x1')
        else
            fprintf('+exp{-[(x1')
        end
     else
	     fprintf('-exp{-[(x1');
    end
     % 样本的第一个分量是正号，还是负号，决定输出分量数值前的符号
     if (s(ftbl(i).index,1)>0)  % 样本的第一个分量是正号 
	       fprintf('-')
           fprintf('%d',s(ftbl(i).index,1))
           fprintf(')^2+(x2')
     else if(s(ftbl(i).index,1)<0)  % 样本的第一个分量是负号
		          fprintf('+')
                  fprintf('%d',-s(ftbl(i).index,1)) % 负负得正
                  fprintf(')^2+(x2');
	     else  %s(ftbl(i).index,1)==0
			   fprintf(')^2+(x2');
         end
    end
    if (s(ftbl(i).index,2)>0)
	      fprintf('-')
          fprintf('%d',s(ftbl(i).index,2))
          fprintf(')^2+(x3')
    else if(s(ftbl(i).index,2)<0)
		          fprintf('+')
                  fprintf('%d',-s(ftbl(i).index,2))
                  fprintf(')^2+(x3');
		  else  
			   fprintf(')^2+(x3')
          end
    end
    if  (s(ftbl(i).index,3)>0)
	      fprintf('-')
          fprintf('%d',s(ftbl(i).index,3))
          fprintf(')^2]}');
    else
        if(s(ftbl(i).index,3)<0)
		       fprintf('+')
               fprintf('%d',-s(ftbl(i).index,3))
               fprintf(')^2]}');
		else 
			   fprintf(')^2]}')
        end
    end
end
fprintf('\n')

% 判别每一样本的类别:
fprintf('判别每一样本的类别:\n');
for k=1:n;
 g=0;
 for i=1:r
   temp=0;
   for j=1:d  %d表示维长
	temp=temp+(s(k,j)-s(ftbl(i).index,j))*(s(k,j)-s(ftbl(i).index,j));
   end
   g=g+ftbl(i).symbol*exp(-temp);  %共r项，每项都是一指数形式
 end
 if (g>0) 
   fprintf('第')
   fprintf('%d',k)
    fprintf('个样本的类别为: ')
              fprintf('%d\n',1)
		  else if (g<0)
			  fprintf('第')
              fprintf('%d',k)
              fprintf('个样本的类别为: ')
              fprintf('%d\n',2)
		  else  %g==1 
			  fprintf('第')
              fprintf('%d',k)
              fprintf('个样本的类别无法判别！  ')
		      fprintf('但第')
              fprintf('%d',k)
              fprintf('个样本的实际类别为: ')
              fprintf('%d\n',s(k,4));%输出实际类别
              end
          end
      end   
      % cout<<endl;
	  %判断（2，3，5），（6，7，11）分别所属的类别：
       %先对第一个样本,即（2，3，5）

          a=[2,3,5];
	      g=0;
	      for i=1:r
		    temp=0;
	        for j=1:d  %d表示维长
	          temp=temp+(a(j)-s(ftbl(i).index,j))*(a(j)-s(ftbl(i).index,j));
            end
            g=g+ftbl(i).symbol*exp(-temp);  %共r项，每项都是一指数形式
          end
		  if g>0 
			  fprintf('样本a=（2，3，5）的类别为: ')
              fprintf('%d\n',1)
          else
              if (g<0)
			     fprintf('样本a=（2，3，5）的类别为: ')
                 fprintf('%d\n',2)
              else
                  fprintf('样本a=（2，3，5）的类别无法判别!\n')
              end
          end
          
		%现对第二个样本,即（6，7，11）
		b=[6,7,11];
	    g=0;
	    for i=1:r
		  temp=0;
	      for j=1:d  % d表示维长
	        temp=temp+(b(j)-s(ftbl(i).index,j))*(b(j)-s(ftbl(i).index,j));
          end
          g=g+ftbl(i).symbol*exp(-temp);  %共r项，每项都是一指数形式
        end
		if g>0
			fprintf('样本b=（6，7，11）的类别为: ')
            fprintf('%d\n',1)
         else
            if (g<0)
			  fprintf('样本b=（6，7，11）的类别为: ')
              fprintf('%d\n',2)
            else
              fprintf('样本b=（6，7，11）的类别无法判别!\n') 
            end
        end
  fprintf('\n')

%%%%
%%%
function g=calfun(s,ftbl,r)
% s存放样本；ftbl存放样本号和符号；r为项数
  g=1;
  for i=1:r
	   temp=1;
	   for j=1:d   % d表示维长
	     temp= temp+(s(k,j)-s(ftbl(i).index,j))*(s(k,j)-s(ftbl(i).index,j));
	     g= g+ftbl(i).symbol*exp(-temp);  %共r项，每项都是一指数形式
       end
    end
end

八. 运行结果