集成调参学习
文章平均质量分 88
LKID体
欢迎交流学习,wx号:lkidti。或关注微信公众号LKIDTI
展开
-
九、boosting和Adaboost学习
文章目录一、Boosting方法的基本思路二、bagging和boosting区别三、Adaboost的基本原理3.1 概述3.2 算法步骤3.3 adaboost实例四、使用sklearn对Adaboost算法进行建模五、总结一、Boosting方法的基本思路所谓 Boosting ,就是将弱分离器 f_i(x) 组合起来形成强分类器 F(x) 的一种方法。Boosting的提出与发展离不开Valiant和 Kearns的努力,历史上正是Valiant和 Kearns提出了"强可学习"和"弱可学习"原创 2021-04-20 22:02:17 · 175 阅读 · 1 评论 -
集成学习任务七和八、投票法与bagging学习
文章目录一、投票法1.1 投票法概述1.2 投票法分类1.3 使用场景1.4 投票法的案例分析二、bagging的思路2.1 bagging概述bagging的案例分析一、投票法1.1 投票法概述Bagging是Bootstrap Aggregating的英文缩写,他bagging不在是一种算法了,Bagging和Boosting都是集成学习中的学习框架,代表着两种不同的思想。boosting,它的特点是各个弱学习器之间有依赖关系。(先后顺序)bagging(装袋),它的特点是各个弱学习原创 2021-04-14 21:34:00 · 486 阅读 · 0 评论 -
心电图任务五:模型融合提升术
模型融合提升术文章目录模型融合提升术1、简单加权融合:2、Stacking融合(回归)3、 分类模型融合3.1、Voting投票机制3.2、Stacking和Blending融合:3.3、Blending4、总结模型融合可以说是一个取长补短的过程,我们先产生一组个体的学习器,之后通过某一种策略将它们给联合起来,可以达到加强模型的效果的。综合个体学习器的优势依次来降低误差、优化整体的模型性能,个体的准确率越高、多样性越大,模型的效果当然也就是越好的。模型融合是比赛后期一个重要的环节,大体来说有如下的类.原创 2021-03-29 22:34:28 · 244 阅读 · 3 评论 -
五、分类模型及超参数调优
一、分类模型1.1、决策树优点一、决策树易于理解和解释。我们可以通过言语就能是别人明白二、数据的准备往往是简单或者是不必要的。其他的技术往往要求先把数据一般化,比如去掉多余的或者空白的属性三、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。四、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。五、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。六、可以对有许多属性的数据集构造决策树。七、决策树可很好地扩展到大型数据库中,同时它的大小独立于数据库原创 2021-03-29 21:23:55 · 2175 阅读 · 0 评论 -
五、分类模型
一、分类模型的定义文章目录一、分类模型的定义二、分类模型类型2.1、逻辑回归2.2、决策树2.3、支持向量机2.4、朴素贝叶斯在机器学习中,我们把机器学习分为监督学习和非监督学习,监督学习就是在一组有标签(有目标)属性的数据集中,我们将数据教给机器学习,让他根据数据中的属性和目标,去看题目答案一样把答案记住。之后再给类似的题目去作一样。我们把数据集中的标签,一般都标为属性,而我们又把属性分为离散属性和连续属性,每一个标签都是可以这样分的。像如果我们预测的属性值的特性是连续属性的话,我们把这种模型称为是原创 2021-03-27 22:39:49 · 16056 阅读 · 2 评论 -
回归模型的评估及超参数调优
一、回归模型在机器学习中,其中算法最为重要一面就是回归算法,回归算法占我们理解机器学习一大块,这一块的学习可以帮助我们掌握超参数的调节。基本上只要一切基于特征预测连续型变量的需求,我们都使用回归技术。最著名的就是我们的线性回归和逻辑回归,从他们衍生出了岭回归,Lasso,弹性网,除此之外,还有众多分类算法改进后的回归,比如回归树,随机森林的回归,支持向量回归,贝叶斯回归等等。在这里我们使用线性回归来了解回归模型评估和超参数调节。首先,我们需要了解回归参数评价指标二、回归类的模型评估指标在回归模型中原创 2021-03-24 22:25:12 · 4877 阅读 · 0 评论 -
偏差与方差理论
偏差与方差理论偏差方差分解" (bias-variance decomposition)是解释学习算法泛化性能的一种重要工具.偏差方差分解试图对学习算法的期望泛化错误率进行拆解.我们知道,算法在不同训练集上学得的结果很可能不同,即便这些训练集是来自同一个分布的。泛化误差一般可以理解为:偏差、方差和噪声之和偏差: 度量学习算法的期望预测与真实结果的偏离成果,刻画着学习算法本身的拟合程度。方差:方差是度量同样大小的训练集变动所导致的学习性能的变化,也就是刻画数据扰动所造成的影响噪声:表达着当前任何原创 2021-03-22 22:43:30 · 216 阅读 · 0 评论 -
二、机器学习之回归模型分析
文章目录一、回归模型1.1 回归模型定义1.2 回归模型分析方法二、回归分析2.1 线性回归和多项式回归2.1.1 线性回归定义2.2.2 代码实现分析:2.2 逻辑回归2.2.1 逻辑回归定义2.2.2 代码说明2.3 多项式回归2.3.1 多项式回归定义2.4 岭回归2.4.1 岭回归定义2.4.2 岭回归函数三、回归模型的评价3.1 均方误差(mean squared error,mse)3.2 标准误差(rmse)3.3 平均绝对误差(MAE)3.4 R-squared3.5 解释方差(explai原创 2021-03-18 19:07:57 · 2579 阅读 · 0 评论 -
机器学习概述
一、机器学习的概述机器学习是入门人工智能必修的一科,说实话来说也就是我们的算法。这机器学习中我们一般分为两类:监督学习: 给定某些特征去估计因变量,即因变量存在的时候,我们称这个机器学习任务为有监督学习。如:我们使用房间面积,房屋所在地区,环境等级等因素去预测某个地区的房价。无监督学习: 给定某些特征但不给定因变量,建模的目的是学习数据本身的结构和关系。如:我们给定某电商用户的基本信息和消费记录,通过观察数据中的哪些类型的用户彼此间的行为和属性类似,形成一个客群。注意,我们本身并不知道哪个用户原创 2021-03-15 21:15:22 · 167 阅读 · 1 评论