![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
提升学习
不爱刷题的工程师不是好coder
想找到个工作就行
展开
-
GBDT梯度提升回归树
原理:提升树利用加法模型与向前分步算法实现学习的优化过程。(我觉得就是把提升树算法里的残差用当前损失函数的负梯度在当前模型的值近似替代,拟合下一颗树。)为啥用负梯度的值而不用提升树里的方法算残差呢,是因为当前损失函数是平方损失和指数损失函数时每步优化都很简单,但是对于一般损失函数而言,每一步的优化并不是那么容易,所以提出了梯度提升作为残差的近似值来拟合。基于残差进行学习,那么损失函数就会越来...原创 2019-10-19 19:46:48 · 435 阅读 · 0 评论 -
对提升树算法的一些理解
提升树是以分类树或回归树为基本分类器的提升方法,提升树被认为是统计学习中性能最好的方法之一。提升树模型提升树采用向前分步算法,首先确定初始提升树f0(x) = 0,第m步的模型是:fm(x) = fm-1(x)+T(x;θm)(CART)其中,fm-1(x)为当前模型,通过经验风险极小化确定下一颗决策树的参数θm:参数θ表示书的区域划分和个区域上的常数。J是回归树的复杂度即叶节点个数。...原创 2019-10-16 21:39:02 · 225 阅读 · 0 评论 -
李航提升方法第八章
##定义提升方法是一种常用的统计学习方法,应用广泛有效。基本思想为:对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独判断的好。实际上,就是“三个臭皮匠顶个诸葛亮”的道理。##1.1此章主要包括三个主要算法:AdaBoost算法,提升树算法与GBDT算法。###1.1.1 AdaBoost算法假设有一个二分类的训练数据集T = {(x1,y1),(...原创 2019-10-15 21:47:18 · 323 阅读 · 0 评论