【第22期】观点:IT 行业加班,到底有没有价值?

机器学习技法实现(一):AdaBoost- Decision Stump (AdaBoost - 决策树的基于Matlab的实现)

原创 2015年07月10日 22:08:56

经过前面对AdaBoost的总结,下面要基于Matlab实现AdaBoost-Stump进行二维平面数据点的分类的实验。

一. 实验原理

参看 http://blog.csdn.net/lg1259156776/article/details/46831191

<boosting:三个臭皮匠赛过诸葛亮,adaptive:逐步(级联)>

二. 实验方法

生成一个可以利用sine线进行分割的数据点样本,然后通过AdaBoost - decision stump对数据点进行学习,最后得出能够将数据点样本进行分类的分割线。如下图所示:

实际上就是将一堆(T个)decision stump进行vote,然后得到一个比较复杂的分界线,实际上就是对实现利用阶跃函数对正弦函数进行逼近的。

<1> 生成training data 和 testing data : GenerateTrainDataSet

随机生成0-2pi之间数作为x1,随机生成0-4之间的数作为x2,设定的最理想的x2 = sin(x1) + 2,通过判定point(x1,x2)在曲线的上下方来给定标记y,如果在上方则为1,如果在下方则为0。

% ========================================================================
% 功能:生成具有正弦分界线的training data set
% 
function [TrainData, TestData] = GenerateTrainDataSet(nTrainSize, nTestSize)
TrainData = zeros(nTrainSize,3);
TestData = zeros(nTestSize,3);
figure;
hold on;
%生成training data
title('training data')
for m = 1 : nTrainSize;
    TrainData(m,1) =2 * pi * rand();                            % 1 对应x1
    %TrainData(m,2) = sin(TrainData(m,1)) + rand() - 0.5;       % 2 对应x2
    TrainData(m,2) = 4 * rand();
    if(TrainData(m,2) >= sin(TrainData(m,1)) + 2)               % 3 对应y 
        TrainData(m,3) = 1;
        plot(TrainData(m,1),TrainData(m,2),'*b','MarkerSize',10);
        hold on;
    else
        TrainData(m,3) = 0;
        plot(TrainData(m,1),TrainData(m,2),'or','MarkerSize',10);
        hold on;
    end;
end;
%生成testing data
figure;
hold on;
title('testing data')
for m = 1 : nTestSize;
    TestData(m,1) =2 * pi * rand();                             % 1 对应x1
    %TrainData(m,2) = sin(TrainData(m,1)) + rand() - 0.5;       % 2 对应x2
    TestData(m,2) = 4 * rand();
    if(TestData(m,2) >= sin(TestData(m,1)) + 2)                 % 3 对应y 
        TestData(m,3) = 1;
        plot(TestData(m,1),TestData(m,2),'*b','MarkerSize',10);
        hold on;
    else
        TestData(m,3) = 0;
        plot(TestData(m,1),TestData(m,2),'or','MarkerSize',10);
        hold on;
    end;
end;
下图是生成的训练样本,N = 500


下图是生成的测试数据集,N = 100


<2> 设计演算法对training data进行学习

根据AdaBoost原理,对于learning algorithm A来讲,minimize Error时不用特别的费劲选择Error最小的,只要我们能够选出加权分类error < 0.5 的分类器g(k)就可以了。因此在设计decision stump : Hypothesis h = s * sign(X(i) - theta)时,对于其中的三个参数(feature i, threshold theta, direction s)采用了随机均匀获得的方式,同时满足error比乱猜(丢硬币)要小就行。下面就是decision stump的详细代码:

%=========================================================================%
% decision stump 模型
% 输入:(X,y, u) (re-weighted error : u),(X,y) data set (supervised)
% u(i)标记X(i)的权重,或者是bootstrap中样本点采样次数的归一化结果
% 输出(feature i, threshold theta, direction s, error, label[n]): 
% label[n]标记每个数据点分类是否犯错,犯错了标记为1,正确标记为0
% 构成Hypothesis h = s * sign(X(i) - theta)
% s为direction,s = +1表示xi>theta为输出标记为+1,s = -1 表示xi<theta输出+1
% i表示某个维度,decision stump通常只选择某一维度进行分割,类似水平线和竖直线
% theta代表分割阈值
% 下面秉持一种信念尝试一下:只要找到比随机猜要好的h就可以了
% 算法思路:随机选取 feature_i,direction s和threshold theta,计算加权误差
% 反复迭代直到error < 0.5 (比随机乱猜好一点,weak classifier)即可
%=========================================================================%
function [feature_i, theta, s , error, label] = decison_stump(X, y, u)
while(1)
    if(rand()>0.5) feature_i = 1;else feature_i = 2; end;                                   %随机选取feature i
    if(rand()>0.5) s = 1;else s = -1; end;                                                  %随机选取direction s
    theta = ( max(X(:,feature_i)) - min(X(:,feature_i)) ) * rand() + min(X(:,feature_i));   %随机选取direction s
    
    error = 0;
    
    for n = 1 : length(X(:,feature_i));
        if(s == 1)                                                                          % 大于为1,小于为0
            label(n) = 1 - ( (X(n,feature_i) >= theta) == y(n) );                           %犯错了标记为1,正确标记为0
            error = error + u(n) * label(n);
        else
            label(n) = 1 - ( (X(n,feature_i) <= theta) == y(n) );
            error = error + u(n) * label(n) ;
        end;
         
    end;
    
    if( error < 0.5 ) 
        break;
    end;
    
end

之后就是AdaBoost中重要的一环:更新bootstrap中的数据re-sample的权重u,当然是根据实验原理中的步骤进行,将分类错误的点的重采样权重提高,再次训练decision stump,因为这种更新方式一方面从data diversity上保证了g的多样性,另一方面,通过调整犯错的点的采样权重,使得g(k)在采样权重u(k+1)的样本data上的分类错误与随机乱猜一样,从而保证了g(k)与g(k+1)的不同,也是diversity的一种设计。下面是adaboost的详细代码:

%=========================================================================%
% adaboost,实现对u的调节,以及后续的vote(decision stump 的融合)
% 实际上是完成了bootstrap,对数据进行re-sample,得到放大错误分类数据的u
% 输入:u_0(u(k)), error(gk对应的分类误差), label(data是否分类错误的标签)
% 输出:u_1(u(k+1)), alpha(gk对应的融合权重)
% error = 0.5, 则delta = 1,alpha() = 0,随机猜测的g的权重为0
% error = 0,则delta = ∞,alpha() = ∞,有理由让完全分类对的g的权重为∞
%=========================================================================%
function [u_1, alpha] = my_adaboost(u_0, error, label)
N = length(label); %数据大小
delta = sqrt((1-error)/error);  
for n = 1 : N
    if(label(n) == 1) u_1(n) = u_0(n) * delta; else u_1(n) = u_0(n) / delta; end;
end;
alpha = log(delta);


最后就是设计实验进行训练和测试,具体的解释见代码注释:

%=========================================================================%
% 利用生成的training data和testing data对AdaBoosting decision stump进行学习
% 设置在同一数据集下的演示测试为tTimes: 训练的迭代次数自增100,初始为T = 100
% 观察在同一个数据集下不同迭代次数AdaBoost融合的G在test集上的分类正确率
% 流程:生成数据集,开启循环训练-测试,并输出分类效果

%%
% 生成数据集并初始化参数
nTrainSize = 1000;
nTestSize = 100;
[TrainData, TestData] = GenerateTrainDataSet(nTrainSize, nTestSize);
tTimes = 10;
T = 0;
f = fopen('Testing Results.txt','w');
%% 
% 开启tTimes次训练和测试
for times = 1 : tTimes;
    T = T + 100;
    u0 = 1/nTrainSize * ones(1, nTrainSize);                               % 初始化bootstrap采样权重为均匀分布
    X = TrainData(:,1:2);                                                  % 提取输入X
    y = TrainData(:,3);                                                    % 提取标签y
    g_set = zeros(4, T);                                                   % 初始化g_set集合:存储decision stump的参数(feature_i,theta,s),再存入一个error性能
    label = zeros(1, nTrainSize);                                          % data 分类错误标签
    alpha = zeros(1, T);                                                   % g_set融合权重
    %%
    % 主循环迭代训练得到g_set,alpha
    for n = 1 : T;
        [g_set(1,n) g_set(2,n) g_set(3,n) g_set(4,n) label] = ...
            decision_stump(X, y, u0);
        [u_1, alpha(n)] = my_adaboost(u0, g_set(4,n), label);
        u0 = u_1;
    end;
    %% 
    % 如何把这个g的融合边界绘制出来才是问题的关键所在
    % 不如直接进行测试算了
    % 直接利用训练得到的g_set和alpha对testing data进行测试,求出分类正确率
   
    X = TestData(:,1:2);
    y = TestData(:,3);
    vote = zeros(1, nTestSize);

    % X = TrainData(:,1:2);
    % y = TrainData(:,3);
    % vote = zeros(1, nTrainSize);


    sucess_rate = 0;
    %% 
    % vote , aggregation, adaboost
    for m = 1 : T;
        feature_i = g_set(1,m); theta = g_set(2,m); s = g_set(3,m); 
        for n = 1 : length(X(:,feature_i));
                if(s == 1)                                                 % 大于为1,小于为0
                    label(n) = ( (X(n,feature_i) >= theta) );              % 犯错了标记为1,正确标记为0  
                else
                    label(n) = ( (X(n,feature_i) <= theta) );
                end;
                vote(n) = vote(n) + alpha(m) * label(n)/sum(alpha);        % 利用归一化的alpha进行加权融合
                %vote(n) = vote(n) + 1/T * label(n);                       % 利用无权重的融合效果经测试不好
                if(m == T) 
                    sucess_rate = sucess_rate + ((vote(n)>0.5) == y(n));
                end;
        end;
    end;
    fprintf('第%d次训练的g_set集大小为%d,测试数据分类成功率为%f\n',times,T,sucess_rate/nTestSize);
%     display('测试数据分类成功率为:');
%     display(sucess_rate/nTestSize);
end;
fclose(f);

三. 实验结果


adaboost_decision_stump_test
第1次训练的g_set集大小为100,测试数据分类成功率为0.870000
第2次训练的g_set集大小为200,测试数据分类成功率为0.870000
第3次训练的g_set集大小为300,测试数据分类成功率为0.930000
第4次训练的g_set集大小为400,测试数据分类成功率为0.940000
第5次训练的g_set集大小为500,测试数据分类成功率为0.940000
第6次训练的g_set集大小为600,测试数据分类成功率为0.960000
第7次训练的g_set集大小为700,测试数据分类成功率为0.890000
第8次训练的g_set集大小为800,测试数据分类成功率为0.970000
第9次训练的g_set集大小为900,测试数据分类成功率为0.950000
第10次训练的g_set集大小为1000,测试数据分类成功率为0.930000


四 分析与讨论


从实验结果中可以看出,虽然每一个decision stump单独工作进行分类的误差仅仅比随即乱猜要好一些,但是经过AdaBoost的设计,我们得到一系列的diversity的decision stump: g,通过aggregation将其融合,从而得到一个较强的分类器。(weak classifier -> strong classifier)从而实现了“三个臭皮匠赛过诸葛亮”的预言。


另外,值得进一步去完善的地方是:本次实验程序并没有将构造出来的分类器分割边界绘制出来,所以没能很形象的展示出利用AdaBoost + decision stump能够实现对复杂非线性函数的逼近、拟合的能力。而通过测试结果不难想象出分类边界的模样。

有兴趣的可以进一步编写函数把整个融合后的G的分割边界绘制出来,形成第一幅图进行演示的效果!


*************************************************随时记录,随时分享****************************************************

版权声明:本文为博主原创文章,转载请注明出处http://blog.csdn.net/lg1259156776/。 举报

相关文章推荐

机器学习基础(十八) —— decision stump

基本原理decision stump,决策树桩(我称它为一刀切),也称单层决策树(a one level decision tree),单层也就意味着尽可对每一列属性进行一次判断。如下图所示(仅对 p...

机器学习技法总结(五)Adaptive Boosting, AdaBoost-Stump,决策树

上一讲主要利用不同模型计算出来的g,采用aggregation来实现更好的g。如果还没有做出来g,我们可以采用bootstrap的方法来做出一系列的“diversity”的data出来,然后训练出一系...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

机器学习基础(二十二)—— decision tree

决策树仍是一棵树,树(数据结构)的一个重要特性就是可递归。递归的观点来看:G(x)=∑c=1C1b(x)=c⋅Gc(x) G(\mathbf x)=\sum_{c=1}^C1_{b(\mathbf x...

机器学习基础(十九)—— Trick

Trick 1:权值初始化:weights = np.ones(N)/N

机器学习基础(十七)—— boosting

boosting 一种和 bagging(Bootstrap AGgregation)很类似的技术,不论是在 boosting 还是在 BAGging 中,所使用的多个分类器的类型都是一致的。但在 b...

机器学习实战(五)——基于单层决策树(dicision-stump)的adaBoosting

一、元算法元算法(meta-algorithm)是一类将多个分类器分类结果进行整合的算法,元算法一般包括一下几种:bagging(boostrap aggregating),random-forest...
  • lvsolo
  • lvsolo
  • 2016-04-01 16:24
  • 1492

MatLab2012b/MatLab2013b 分类器大全(svm,knn,随机森林等)

train_data是训练特征数据, train_label是分类标签。Predict_label是预测的标签。MatLab训练数据, 得到语义标签向量 Scores(概率输出)。1.逻辑回归(多项式...

【机器学习】 Matlab 2015a 自带机器学习算法汇总

今天突然发现MATLAB 2015a的版本自带了许多经典的机器学习方法,简单好用,所以在此撰写博客用以简要汇总(我主要参考了MATLAB自带的帮助文档)。

AdaBoost相关的Matlab代码

很久没上CSDN了,偶尔上来一瞅,发现有些小哥哥们求AdaBoost的代码。真不好意思,一直没看到。发了吧:   http://download.csdn.net/detail/kofsky...
  • kofsky
  • kofsky
  • 2013-01-03 16:23
  • 16215

AdaBoost--从原理到实现

一.引入   对于Adaboost,可以说是久闻大名,据说在Deep Learning出来之前,SVM和Adaboost是效果最好的 两个算法,而Adaboost是提升树(boosting tree)...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)