![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集成学习
文章平均质量分 84
浅浅望
这个作者很懒,什么都没留下…
展开
-
XGBoost算法
一、XGBoost原理详解此处还未完全看懂和推导,后续学习用到再补充。二、XGBoost算法案列2.1 原生工具库的上手指导import xgboost as xgb # 引入工具库# read in datadtrain = xgb.DMatrix('demo/data/agaricus.txt.train') # XGBoost的专属数据格式,但是也可以用dataframe或者ndarraydtest = xgb.DMatrix('demo/data/agaricus.txt.tes原创 2021-08-29 22:26:09 · 1709 阅读 · 0 评论 -
Adaboost算法
一、基本原理的简单介绍Adaboost是在boosting的基础上进一步完善的,主要解决boosting面临的两个问题:1.提高那些被前一轮分类器分类错误样本的权重,降低那些分类正确样本的权重;2.加大分类错误率低的分类器的权重,减小分类错误率高的分类器的权重。二、公式推导假设给定一个二分类的训练数据集:T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdo原创 2021-08-29 22:27:43 · 165 阅读 · 0 评论 -
前向分步算法&梯度提升决策树(GBDT)
一、前向分布算法介绍:前向分步算法是构建集成学习的一个非常重要的框架,可以从前面学习的Adaboost算法的整体逻辑框架中抽象得出。这个框架包含加法模型和前向分步算法两个部分,有了这个框架,既可以解决分类问题,也可以解决回归问题。1.1、加法模型:1.2、前向分步算法:1.3、前向分步算法与Adaboost的关系二、梯度提升决策树(GBDT)2.1、基于残差学习的提升树算法2.2、梯度提升决策树算法(GBDT)2.3、GBDT代码实例介绍(sklearn库)...原创 2021-08-29 22:30:45 · 827 阅读 · 0 评论 -
集成学习task06-Boosting、Adaboost、GBDT和XGBoost
一、Boosting方法的基本思路什么是"强可学习"和"弱可学习"呢?在概率近似正确PAC学习的框架下:弱学习: 识别错误率小于1/2(即准确率仅比随机猜测略高的学习算法)强学习: 识别准确率很高并能在多项式时间内完成的学习算法在PAC 学习的框架下,强可学习和弱可学习是 等价的,故可通过反复学习,使得一系列弱分类器达到强分类器的效果。因次对于Boosting方法来说,有两个问题需要给出答案:问题一: 每一轮学习应该如何改变数据的概率分布;问题二: 如何将各个弱分类器组合起来。关于原创 2021-08-29 22:32:37 · 124 阅读 · 0 评论 -
集成学习task05-投票法&bagging
文章目录一、投票法1.1 投票法的原理分析1.2 投票法的案例分析(基于sklearn)二、bagging2.1 bagging的原理分析2.2 bagging的案例分析(基于sklearn)一、投票法1.1 投票法的原理分析 投票法是一种遵循少数服从多数原则的集成学习模型,通过多个模型的集成降低方差,从而提高模型的鲁棒性。在理想情况下,投票法的预测效果应当优于任何一个基模型的预测效果。 投票法在回归模型与分类模型上均可使用:回归投票法: 预测结果是所有模型预测结果的平均值。分类投票法:原创 2021-08-26 16:13:26 · 383 阅读 · 0 评论 -
集成学习task03-偏差、方差理论、特征提取和模型超参数调优
一、训练均方误差与测试均方误差提出问题,测试均方误差最小,并不能使得测试均方误差最小!二、偏差与方差的权衡偏差、方差的概念导出为什么要对测试均方误差进行估计,测试均方误差估计的两种方法:直接、间接。三、测试误差估计3.1间接估计-训练误差修正:如何通过训练误差估计测试误差?如何进行特征惩罚的?d原理+代码3.2直接估计-交叉验证K-折交叉验证原理+代码四、特征提取4.1 最优子集选取原理+代码4.2 向前逐步选择原理+代码4.3压缩估计(正则化)4.3.1 L2正则化原创 2021-08-22 19:59:25 · 489 阅读 · 0 评论 -
集成学习task01-数学基础
集成学习task01-数学基础实验目的1、 理解等高线的几何含义、如何发现一个函数的最小解;2、 掌握一门绘制函数图形的编程工具;实验内容给定下述Rosenbrock函数,f(x)=(a−x1)2+b(x2−x12)2f(x)=(a-x_1)^2+b(x_2-x_1^2)^2f(x)=(a−x1)2+b(x2−x12)2,其中 ,x=(x1,x2)T∈R2x=(x_1,x_2)^\mathrm{T} \in\mathbb{R}^2x=(x1,x2)T∈R2 。试编写程序完成下述工作:1原创 2021-08-17 17:17:28 · 200 阅读 · 5 评论 -
集成学习task02-机器学习基础(1)
一、机器学习的三大主要任务回归:待预测变量为连续型变量;分类:待预测变量为离散型变量;聚类:没有待预测变量,主要是分析数据本身的结构及分布。二、使用sklearn构建完整的机器学习项目流程一个完整的机器学习项目流程:明确项目任务:回归/分类收集数据集并选择合适的特征选择度量模型性能的指标选择具体的模型并进行训练以优化模型评估模型的性能并调参2.1 模型性能度量指标MSE均方误差:MSE(y,y^)=1nsamples∑i=0nsamples−1(yi−yi^)2MSE(y,\h原创 2021-08-19 14:59:55 · 138 阅读 · 0 评论