机器学习
unique-sunny
这个作者很懒,什么都没留下…
展开
-
高级算法 GBDT算法梳理
1、前向分布算法 统计学习方法 (假设为树模型)b(x;y)为基函数,使上棵树的预测值与真实值损失函数最小时得到的系数β和γ,其中γ是基函数中特征的权重向量,β为当前树的权重,向前累加基函数,得到当前模型的函数f(x),依次训练直到m的预设值。2、负梯度拟合 用损失函数的负梯度来拟合本轮损失的近似值,进而拟合一个CART回归树。 ...原创 2019-08-09 21:03:54 · 286 阅读 · 0 评论 -
高级算法 基础概念梳理
1、集成学习 集成方法是将几种机器学习技术组合成一个预测模型的元算法,以达到减小方差、偏差或改进预测的效果,通过弱学习器组合成强学习器。 序列集成方法:AdaBoost,GBDT,模型之间强依赖 并行集成方法:随机森林,模型之间无依赖2、个体学习器 个体学习器集成学习的单元学习器,是集成学习的基础学习器。3、boosting的概念...原创 2019-08-07 20:48:11 · 413 阅读 · 0 评论 -
LightGBM算法梳理
1、LightGBM LightGBM是基于Boosting思想的分布式算法,基学习器为CART决策树。2、LightGBM的起源 2.1 传统的特征并行算法不能有效地加速特征选择的效率,当数据量很大时,该并行方法不能加快效率。并且,最优的分裂结果需要在worker之间进行传输,需要消耗很多的传输资源以及传输时间。 2.2 传统的数据并行算法网络传输代价...原创 2019-08-15 19:43:32 · 997 阅读 · 0 评论 -
XGB算法梳理
1、算法原理 算法思想就是不断地添加树,不断地进行特征分裂来生长一棵树,每次添加一个树,其实是学习一个新函数,去拟合上次预测的残差。当我们训练完成得到k棵树,我们要预测一个样本的分数,其实就是根据这个样本的特征,在每棵树中会落到对应的一个叶子节点,每个叶子节点就对应一个分数,最后只需要将每棵树对应的分数加起来就是该样本的预测值。2、损失函数 回归问题常用损失函数损失函...原创 2019-08-15 20:34:18 · 394 阅读 · 0 评论