《统计学习方法，李航》：8、提升方法Boosting（1）

最新推荐文章于 2022-08-11 17:38:25 发布
VIP文章 最新推荐文章于 2022-08-11 17:38:25 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 《统计学习方法，李航》
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmc2015/article/details/43054155
版权

1）Boosting思想和基本概念

2）AdaBoost算法

3）AdaBoost算法举例


4）AdaBoost算法的解释——前向分步算法

5）提升树算法

6）提升树算法举例




1）Boosting思想和基本概念

 

下面的概念前面都讲过：

PAC（probably approximately correct）学习框架

强可学习（strongly learnable）

弱可学习（weakly learnable）

提升算法中最具有代表性的是AdaBoost算法（adaptive boosting）：

最低0.47元/天 解锁文章
mmc2015
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2012李航统计学习方法带目录
01-09
2012李航统计学习方法带目录
统计学习方法 第八章 习题
qq_26954059的博客
04-29 3769
8.1 某公司招聘支援考查身体、业务能力、发展潜力这三项。身体分为合格1、不合格0两级，业务能力和发展潜力分为上1，中2，下3三级。分类为合格1，不合格-1两类。已知10个人的数据，如下表所示，假设弱分类器为决策树桩，试用AdaBoost算法学习一个强分类器。 应聘人员情况数据表 1 2 3 4 5 6 7 8 9 10 身体 0 ...
《李航 统计学习方法》学习笔记——第八章提升方法
eveiii的博客
05-21 775
提升方法8.1提升方法AdaBoost8.1.1提升方法的基本思路8.1.2AdaBoost算法8.1.3AdaBoost的例子8.2AdaBoost算法的训练误差分析 8.1提升方法AdaBoost 简单来讲，提升方法在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，最终提高分类的性能。 8.1.1提升方法的基本思路 首先需要了解两个概念，强学习算法和弱学习算法。 强学习算法：存在一个多项式学习算法学习它且正确率高。 弱学习算法：存在一个多项式学习算法学习它但是正确率仅比
李航提升方法第八章
weixin_42065600的博客
10-15 313
##定义 提升方法是一种常用的统计学习方法，应用广泛有效。基本思想为：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独判断的好。实际上，就是“三个臭皮匠顶个诸葛亮”的道理。 ##1.1此章主要包括三个主要算法：AdaBoost算法，提升树算法与GBDT算法。 ###1.1.1 AdaBoost算法 假设有一个二分类的训练数据集 T = {(x1,y1),(...
李航老师《统计学习方法》第八章课后习题答案
qq_41626059的博客
04-28 4743
8.1、题目太长，懒得打字了 因为训练数据实例的维度比书中的例子8.1的实例的维度大，也就是特征的数目比较多，因而需要进行特征选择。我在这里根据数据集里面数据的权重进行特征选择的，如果按照原始数据进行原则，那么除了强制排除已经选择的特征，否则每次构造决策树桩，都只能选择相同的特征进行构造决策树桩，这显然是不合理的。 直接上代码： import numpy as np def choose_character_by_data_weight(X,Y,w): ''' 该方法使用数据的每次迭代的权重
统计学习方法——第8章 提升方法（个人笔记）
pk296256948的博客
05-09 394
统计学习方法——第8章 提升方法（个人笔记） 参考《统计学习方法》（第二版）李航 8.1 提升方法AdaBoost算法 8.1.1 提升方法的基本思路 基本思想：对于一个复杂任务，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。 最具代表性的是AdaBoost算法。 对于分类问题，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确地分类规则（强分类器）容易的多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱
《统计学习方法（第2版）》李航第八章提升方法课后习题答案（使用python3编写AdaBoost算法）
qq_26928055的博客
03-31 2240
习题8.1 import numpy as np data_array = np.array([[0, 1, 3], [0, 3, 1], [1, 2, 3], [1, 1, 3], [1, 2, 3], [0, 1, 2], [
李航老师统计学习方法答案汇总
qq_41626059的博客
05-15 1万+
由于博主本人还没把这本书的算法学完，所以答案还在持续更新中… 第一章 第二章 第三章 第四章 第五章 第六章 第七章 第八章 第九章 第十章 第十一章 第十四章 第二十一章
《统计学习方法》第8章习题答案
时间的玫瑰的博客
12-04 3273
8.1 class Adaboost_tree: def __init__(self, X, Y): self.X = np.array(X) self.Y = np.array(Y) self.N = len(X) self.feature_num = len(X[0]) self.w = np.array([1 / self.N] * self.N) self.g_x = [] sel
Adaboost算法原理分析和实例+代码（简明易懂）
热门推荐
AI吃大瓜的博客
05-02 13万+
Adaboost算法原理分析和实例+代码（简明易懂） 【尊重原创，转载请注明出处】 http://blog.csdn.net/guyuealian/article/details/70995333 本人最初了解AdaBoost算法着实是花了几天时间，才明白他的基本原理。也许是自己能力有限吧，很多资料也是看得懵懵懂懂。网上找了一下关于Adaboost算法原理分析，大都是你复制我，我摘...
提升方法(AdaBoost) Python代码 《统计学习方法》李航
03-22
经典书籍《统计学习方法》李航，第8章 提升方法(Ada Boost) -Python代码
统计学习方法源码_李航、统计学习方法_
10-03
这是在看统计学习方法这本书时找到的一些算法源码实现，可帮助大家更好的理解算法
统计学习方法 李航
02-20
详细介绍支持向量机、Boosting、最大熵、条件随机场等十个统计学习方法。
李航 《统计学习方法》习题8.1
数据分析
04-24 1万+
解题：因为题中假设弱分类器为决策树，可采用CART二叉分类树。1、初始化数据权值分布：D =(w11, w12, ..., w110) = (0.1,0.1, ..., 0.1)w1i =0.1 ，i = 1,2,....,102、计算各特征的基尼系数（为计算方便，就取深度为1 的树）：根据基尼系数的计算公式：求得：gini（D，潜力=2）的基尼系数最小，所以第一个选潜力等于2 和非2 为划...
李航《统计学习方法》——第八章 提升方法
fuqiuai的博客
03-10 3998
提升方法就是组合一系列弱分类器构成一个强分类器，AdaBoost是其代表性算法 AdaBoost算法 适用问题：二类分类，要处理多类分类需进行改进 代码(用sklearn实现)： # encoding=utf-8 import pandas as pd import time from sklearn.cross_validation import train_test_split...
【李航统计学习笔记】第八章：adaboost
weixin_39236489的博客
08-11 262
adaboost
李航统计学习－adaboost算法
szq34_2008的专栏
02-03 1622
adaboost属于一种提升方法，提升方法基于这样的一种想法：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家的判断要好。提升方法就是将弱学习算法提升为强学习方法的一种手段，其中比较著名的算法是adaboost算法。adaboost算法描述如下： 输入：训练数据集T = {(x1, y1), (x2, y2), ..., (xn, yn)}，其中 xi∈X⊆R...
《统计学习方法，李航》：7、支持向量机support vector machine（1）
mmc2015的专栏
01-21 4841
0）基础知识——线性可分支持向量机定义；函数间隔和集合间隔定义 1）线性硬间隔支持向量机 2）凸二次规划最优解求法——对偶方法 3）线性硬间隔支持向量机学习算法及简单实例 4）线性软间隔支持向量机 5）非线性支持向量机 6）序列最小最优化算法（SMO算法） 7）一些讨论 0）基础知识——线性可分支持向量机定义；函数间隔和集合间隔定义
《统计学习方法，李航》：9、EM算法及其推广（1）
mmc2015的专栏
01-24 2921
1）EM算法的引入 EM算法思想： EM算法引例：
统计学习方法李航pdf
最新发布
07-27
很抱歉，我无法提供《统计学习方法》李航的PDF版本。你可以尝试在图书馆或在线书店购买该书，或者在一些学术网站上查找相关的电子资源。 #### 引用[.reference_title] - *1* *3* [李航老师《统计学习方法》及相关...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值