我的小程序:
通过学习得到的一个学习器,我们要知道它的泛化性能,即面对新的数据,算法产生的结果好不好。显然,我们不能用使用过的数据进行评估。所以,对于手里有限的数据集,我们要进行划分,划分为训练集和测试集,测试样本尽量不在训练集中出现,训练集用来训练模型,测试集用来评估模型的性能。这里介绍3种划分方法。
1、留出法
数据集D划分为训练集S和测试集T,D=S并T,S交T=空集。如1000个数据集,500个正样本,500个负样本,700个作为训练集(350个正样本,350个负样本),300个作为测试集(150个正样本,150个负样本),注意数据划分时数据分布尽量一致,例如在分类任务中,样本的类别比例相似。不同的划分,模型评估的结果也会有差别,所以一般会进行若干次随机划分,最后取平均值。
2、交叉验证法
如把数据集划分为10个大小相似的互斥子集,每次用9个作为训练集,剩下的1个作为测试集,则可以进行10次训练和测试,最后返回10次测试结果的均值,称为10折交叉验证。为减小样本的不同划分引入的差别,通常随机使用不同划分重复p次,如10次,则可称为“10次10折交叉验证”。
3、自助法(改变了初始数据集的分布,会引入估计偏差)
每次从数据集D中挑选一个样本拷贝进D',然后将该样本放回D中,在下次采样仍然可能被采样到。重复执行m次则得到包含m个样本的数据集D',样本在m次采样中始终不被采样到的概率为(1-1/m)^m,取极值得1/e,约为0.368,即D中约有36.8%的样本未出现在采样集D'中,我们可将D'作为训练集,D-D'作为测试集。
自助法在数据集较小时比较有用,数据集足够时,留出法和交叉验证法更常用
交叉验证法代码(含留一法,即N个样本进行N折交叉验证):
%留一法
if k==x1_rows+x2_rows,
x = [x1;x2];
y = [y1;y2];
for i=1:k,
%留一的放回
if length(x_test)>0&&length(y_test)>0,
x = [x;x_test];
y = [y;y_test];
end;
%留一
x_test = x(1,:);
y_test = y(1);
%训练集
x(1,:) = [];
y(1) = [];
[w L] = logisticFunc(x,y,iters,lambda);
p0 = 1/(1+exp(x_test*w));
p(i) = p0;
if (y_test==0&&p0<=0.5)||(y_test==1&&p0>=0.5),
error_num = error_num+1;
end;
end;
error = error_num/k;
else%k折
x1_test = [];
x2_test = [];
y1_test = [];
y2_test = [];
x1_num = floor(x1_rows/k);%向下取整,2.5取2
x2_num = floor(x2_rows/k);
for i=1:k,
%测试集放回
if length(x_test)>0&&length(y_test)>0,
x1 = [x1;x1_test];
x2 = [x2;x2_test];
y1 = [y1;y1_test];
y2 = [y2;y2_test];
end;
%最后一组取剩下的全部数据
if i==k,
x1_num = x1_rows - x1_num*(k-1);
x2_num = x2_rows - x2_num*(k-1);
end;
%测试集
x1_test = x1(1:x1_num,:);
y1_test = y1(1:x1_num,1);
x2_test = x2(1:x2_num,:);
y2_test = y2(1:x2_num,1);
x_test = [x1_test;x2_test];
y_test = [y1_test;y2_test];
%训练集
x1(1:x1_num,:) = [];
y1(1:x1_num) = [];
x2(1:x2_num,:) = [];
y2(1:x2_num) = [];
x = [x1;x2];
y = [y1;y2];
[w L] = logisticFunc(x,y,iters,lambda);
p0 = 1./(1+exp(x_test*w));
error_num = 0;
for j=1:length(y_test),
if (y_test(j)==0 && p0(j)<=0.5)||(y_test(j)==1&&p0(j)>=0.5),
error_num = error_num + 1;
end;
end;
%error_num
error = error + error_num/length(y_test);
end;
error = error/k;
end;
参考资料:周志华《机器学习》