机器学习：模型评估与选择-数据集划分（附代码实现）

我的小程序：

待办计划：在不确定中前行

随笔日记：祭那些逝去的时光

通过学习得到的一个学习器，我们要知道它的泛化性能，即面对新的数据，算法产生的结果好不好。显然，我们不能用使用过的数据进行评估。所以，对于手里有限的数据集，我们要进行划分，划分为训练集和测试集，测试样本尽量不在训练集中出现，训练集用来训练模型，测试集用来评估模型的性能。这里介绍3种划分方法。

1、留出法

数据集D划分为训练集S和测试集T，D=S并T,S交T=空集。如1000个数据集，500个正样本，500个负样本，700个作为训练集（350个正样本，350个负样本），300个作为测试集（150个正样本，150个负样本），注意数据划分时数据分布尽量一致，例如在分类任务中，样本的类别比例相似。不同的划分，模型评估的结果也会有差别，所以一般会进行若干次随机划分，最后取平均值。

2、交叉验证法

如把数据集划分为10个大小相似的互斥子集，每次用9个作为训练集，剩下的1个作为测试集，则可以进行10次训练和测试，最后返回10次测试结果的均值，称为10折交叉验证。为减小样本的不同划分引入的差别，通常随机使用不同划分重复p次，如10次，则可称为“10次10折交叉验证”。

3、自助法（改变了初始数据集的分布，会引入估计偏差）

每次从数据集D中挑选一个样本拷贝进D'，然后将该样本放回D中，在下次采样仍然可能被采样到。重复执行m次则得到包含m个样本的数据集D'，样本在m次采样中始终不被采样到的概率为（1-1/m）^m，取极值得1/e,约为0.368，即D中约有36.8%的样本未出现在采样集D'中，我们可将D'作为训练集，D-D'作为测试集。

自助法在数据集较小时比较有用，数据集足够时，留出法和交叉验证法更常用

交叉验证法代码（含留一法，即N个样本进行N折交叉验证）：

%留一法
if k==x1_rows+x2_rows,
  x = [x1;x2];
  y = [y1;y2];
  for i=1:k,
    %留一的放回
    if length(x_test)>0&&length(y_test)>0,
      x = [x;x_test];
      y = [y;y_test];
    end;
    
    %留一
    x_test = x(1,:);
    y_test = y(1);
    %训练集
    x(1,:) = [];
    y(1) = [];
    
    [w L] = logisticFunc(x,y,iters,lambda);
    
    
    p0 = 1/(1+exp(x_test*w));
    p(i) = p0;
    if (y_test==0&&p0<=0.5)||(y_test==1&&p0>=0.5),
      error_num = error_num+1;
    end;
  end;
  error = error_num/k;
else%k折
  
  x1_test = [];
  x2_test = [];
  y1_test = [];
  y2_test = [];
  
  x1_num = floor(x1_rows/k);%向下取整，2.5取2
  x2_num = floor(x2_rows/k);
  
  for i=1:k,
    
    %测试集放回
    if length(x_test)>0&&length(y_test)>0,
      x1 = [x1;x1_test];
      x2 = [x2;x2_test];
      y1 = [y1;y1_test];
      y2 = [y2;y2_test];
    end;
    
    %最后一组取剩下的全部数据
    if i==k,
      x1_num = x1_rows - x1_num*(k-1);
      x2_num = x2_rows - x2_num*(k-1);
    end;
    
    %测试集
    x1_test = x1(1:x1_num,:);
    y1_test = y1(1:x1_num,1);
    x2_test = x2(1:x2_num,:);
    y2_test = y2(1:x2_num,1);
    
    x_test = [x1_test;x2_test];
    y_test = [y1_test;y2_test];
    
    %训练集
    x1(1:x1_num,:) = [];
    y1(1:x1_num) = [];
    x2(1:x2_num,:) = [];
    y2(1:x2_num) = [];
    
    x = [x1;x2];
    y = [y1;y2];
    
    [w L] = logisticFunc(x,y,iters,lambda);
    
    p0 = 1./(1+exp(x_test*w));
    
    error_num = 0;
    for j=1:length(y_test),
      if (y_test(j)==0 && p0(j)<=0.5)||(y_test(j)==1&&p0(j)>=0.5),
        error_num = error_num + 1;
      end;
    end;
    %error_num
    error = error + error_num/length(y_test);
    
  end;
  
  error = error/k;
end;

待办计划：在不确定中前行

随笔日记：祭那些逝去的时光

参考资料：周志华《机器学习》