学习任务
zzllg
这个作者很懒,什么都没留下…
展开
-
【机器学习】集成学习的概念与随机森林算法梳理
1. 集成学习概念“三个臭皮匠,顶个诸葛亮”思想“弱可学习”等价于“强可学习” —— Schapire可以理解为就是指采用多个分类器对数据集进行预测,从而提高整体分类器的泛化能力。集成学习有两个流派一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。2. 个体学习器概念又称“基学...原创 2019-04-03 21:50:00 · 535 阅读 · 0 评论 -
【机器学习】 前向分布算法与GBDT算法梳理
1.前向分布算法基本思想:每次只学习一个基函数及系数,逐步逼近最优解。如下所示:其中为基函数,为基函数系数,为基函数的参数,这样只需要给定训练集与损失函数就可以利用最小化损失函数的原理进行学习,这样每次新一轮的学习只需要学习一个基函数的参数与对应的系数。一个栗子:小明有100个苹果,小红第一次猜1*50个,剩余50个没猜对(残差),下一次小红猜有1*50 + 2*10...原创 2019-04-07 02:30:10 · 1618 阅读 · 0 评论 -
【机器学习】 XGBoost算法梳理
前言:XGBoost原理上跟普通GBDT一样,都属于集成算法中的boost类。boost的原理可以看我的另外两篇介绍集成学习的文章,这里不多赘述。所以这篇文章主要在XGB与普通GBDT不同之处进行讨论。1.损失函数XGB的损失函数是支持自定义的,只要满足二阶可导即可。XGB的损失函数除了拟合上一轮残差部分,还自带了两个损失项以减少树模型复杂度:先讨论简单的,正则化部分:...原创 2019-04-10 21:40:06 · 528 阅读 · 0 评论