机器学习
小鱼儿的博客
每天付出一点点,让自己变得更强壮!终身学习者,遇见更多优秀的人
展开
-
随机森林算法总结
随机森林算法个体学习器个体学习器又称为基学习器(base learner),由单个的学习算法训练数据得到,比如“决策树算法”,“神经网络算法”等等。在不正式的说法下,基学习器,弱学习器,弱分类器,个体学习器说的都是一个东西。集成学习常言道:“一个篱笆三个桩,一个好汉三个帮”。集成学习模型便是综合考量多个学习器的预测结果,从而做出决策。集成学习的核心如何产生“好而不同”的个体学习器,并准...原创 2019-03-01 19:52:39 · 28115 阅读 · 3 评论 -
Xgboost算法梳理
算法分类与回归树的英文是Classfication And Regression Tree,缩写为CART。CART算法采用二分递归分割的技术将当前样本集分为两个子样本集,使得生成的每个非叶子节点都有两个分支。非叶子节点的特征取值为True和False,左分支取值为True,右分支取值为False,因此CART算法生成的决策树是结构简洁的二叉树。CART可以处理连续型变量和离散型变量,利用训练数据...转载 2019-03-05 20:56:45 · 7106 阅读 · 0 评论 -
GBDT算法总结
前向分布算法负梯度拟合在上一节中,我们介绍了GBDT的基本思路,但是没有解决损失函数拟合方法的问题。针对这个问题,大牛Freidman提出了用损失函数的负梯度来拟合本轮损失的近似值,进而拟合一个CART回归树。第t轮的第i个样本的损失函数的负梯度表示为 利用(xi,rti)(i=1...原创 2019-03-03 19:36:14 · 2789 阅读 · 0 评论