集成学习笔记

民主协商:Ensemble

        集成学习:为了更好的解决某个特定机器学习的问题把多个模型有策略性的组合的过程,不是某种算法而是一大门类算法包括bagging和boosting

        目的:改进某个模型的表现

                减少选择到差模型的几率

 

        如何combines

 

群策群议:Bagging

    例:采50份样,用这50份训练得出50份分类器,当新的样本来了后,放到50个分类器中,看结果如何投票 取相同结果最多的为最终输出    

        随机森林:很多决策树组合到一起

        随机森林优点:

环环相扣:Boosting

        Stacking:把训练集训练生成很多子分类器,把每一个子分类器的输出乘以权值再训练形成一个新分类器做为输出

 算法流程图

 Boosting :是串行的根据前一个生成后一个分类器

       d2有对的有错的目的是让 c2专门对c1分错的进行学习

        找出不一致的数据组成数据集训练成c3专门解决争端

variance方差变化幅度

 

集成之美:AdaBoost

 

 [[表达式a]]当表达式a成立 , [[表达式a]]的值为1 , 当表达式a不成立 ,  [[表达式a]]的值为0

当H(Xi)≠yi表示预测失败 求和除m表示错误率,右边表示错误率上界

                近似方法:真正的是k个z相乘的最小化,每次就把当前的z最小化,用最小化当前的z来近似表示k个z相乘的最小值.z越小代表分的越好,z越大代表分错了权值越大.

        y或h都不好求导,但y*h不是+1就是-1

模型的收敛区间收敛于0

 

继往开来:RegionBoost

动态权重

 权重取决于输入