模型组合方法-boosting算法详解(机器学习面试必备)

标签: 机器学习 面试
13人阅读 评论(0) 收藏 举报
分类:

常见的模型组合方法有:简单平均(Averaging),投票(voting),Bagging(randomforest),boosting(GBDT),stacking,blending等,在实际业务中,单一模型很难满足需求,组合模型才能达到业务的精度要求。本文主要详细讲述三种具有代表性的boosting算法:Adaboost,GBDT,XGBoost.
1.Adaboost原理:利用前一轮迭代弱分类器的误差率来更新训练集的权重
训练过程:
1)首先赋予每个样本相同的权重,假如样本数为N,则每一个样本权重是1/N,用一组向量表示如下:
这里写图片描述
U(1)表示第一轮训练
2)假如经过T轮训练(每一轮训练产生一个弱分类器),对于第i轮训练来说,每一轮训练的目标函数是如下:
这里写图片描述
N表示样本总数,T表示第T轮训练,
其推导过程如下:
这里写图片描述
这里写图片描述表示经过T轮训练后产生的T个弱分类器的加权结果,
这里写图片描述表示每一轮训练的弱分类器的权重,这里写图片描述表示第t轮的分类错误率。
3)最优步长的求法:假设找到一个函数这里写图片描述,在这个函数上走这里写图片描述的长度,
这里写图片描述

这里写图片描述

这里写图片描述

2GBDT原理:
这里写图片描述
两者目标函数的差别:
这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

3.XGBoost:
这里写图片描述

这里写图片描述

这里写图片描述

查看评论

机器学习之模型评估与选择

-
  • 1970年01月01日 08:00

Ensemble methods(组合方法,集成方法)

机器学习的算法中,讨论的最多的是某种特定的算法,比如Decision Tree,KNN等,在实际工作以及kaggle竞赛中,Ensemble methods(组合方法)的效果往往是最好的,当然需要消耗...
  • sandyzhs
  • sandyzhs
  • 2015-08-25 13:59:45
  • 7172

机器学习笔记3 - Boosting方法

Table of Contents 1 前言2 AdaBoost3 Boosting Tree 3.1 加法模型和前向分步算法3.2 回归问题的提升树算法 4 Gradient Bo...
  • android_asp
  • android_asp
  • 2013-11-04 17:26:42
  • 1506

模型融合技术的两种方法:Bagging Boosting

Bagging主要在优化variance(即模型的鲁棒性) boosting主要在优化bias(即模型的精确性) 上一节说过了   error= variance + bias  下面分别说一下...
  • christ1750
  • christ1750
  • 2016-03-16 19:16:13
  • 2070

机器学习面试常用算法知识点梳理总结

原文地址:http://www.cnblogs.com/tornadomeet/p/3395593.html     前言:   找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是...
  • u012656566
  • u012656566
  • 2017-02-20 10:16:26
  • 973

【机器学习】决策树及Bagging, Random Forest和Boosting模型融合

前言一晃一个月没写博客了。懒癌又犯了TT。 之前提到过,写博客是为了记录实习中学到的点滴。博主在某家做travelling IT solution的公司实习。公司核心业务还是做Global Dist...
  • AmourDeMai
  • AmourDeMai
  • 2016-05-19 21:49:45
  • 4775

机器学习:集成学习算法Bagging,Boosting

Bootstrap,Bagging,Boosting都属于集成学习方法,所谓集成学习方法,就是将训练的学习器集成在一起,原理来源于PAC (Probably Approximately Correct...
  • li_dongxuan
  • li_dongxuan
  • 2017-02-18 15:36:12
  • 1173

使用集成学习提升机器学习算法性能

使用集成学习提升机器学习算法性能 这篇文章是对 PythonWeekly 推荐的一篇讲集成模型的文章的翻译,原文为 Ensemble Learning to Improve Machine Lea...
  • u010099080
  • u010099080
  • 2017-08-30 18:47:18
  • 891

机器学习-->集成学习-->Bagging,Boosting,Stacking

在一些数据挖掘竞赛中,后期我们需要对多个模型进行融合以提高效果时,常常会用到Bagging,Boosting,Stacking等这几个框架算法。下面就来分别详细讲述这三个框架算法。这里我们只做原理上的...
  • Mr_tyting
  • Mr_tyting
  • 2017-06-09 14:56:28
  • 5966

分类器组合方法Bootstrap, Boosting, Bagging, 随机森林(一)

首先,机器学习的一个重要假设就是样本的分布和总体的分布是一致的。 多分类器进行组合的目的是为了将弱分类器(单个分类器)集成为强分类器,提升对未知样本的分类准确率,(实验数据。。。) Bootstr...
  • zjsghww
  • zjsghww
  • 2016-06-06 16:26:48
  • 7065
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 664
    排名: 7万+
    文章存档
    最新评论