算法总结
绝体绝命
自学成才
展开
-
高级算法梳理-Task2前向分步算法及提升树
本文根据李航的统计学习方法和相关博文总结而成前向分步算法加法模型: 在给定训练数据及损失函数的条件下,学习加法模型成为经验风险极小化问题,即损失函数极小化问题: ...原创 2019-05-14 21:53:07 · 240 阅读 · 0 评论 -
高级算法梳理-Task4 LightGBM框架简介
本文根据多篇博文整理总结而成.提升树是利用加法模型与前向分步算法实现学习的优化过程,它有一些高效实现,如XGBoost, pGBRT,GBDT等。其中GBDT采用负梯度作为划分的指标(信息增益),XGBoost则利用到二阶导数。它们共同的不足是计算信息增益需要扫描所有样本,从而找到最优划分点。在面对大量数据或者特征维度很高时,它们的效率和扩展性很难使人满意。微软开源的LightGBM(基于...原创 2019-05-20 21:59:17 · 404 阅读 · 0 评论 -
高级算法梳理-Task1 集成学习及随机森林算法
本文依据周志华西瓜书及多个相关博文总结而成.集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,其组成结构是:先产生一组个体学习器 individual learning 再用某种策略将他们结合起来.集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能.要获得好的性能,学习器应该好而不同,学习器要有一定的准确性,不能太坏 否则集成起负...原创 2019-05-12 20:01:06 · 293 阅读 · 0 评论 -
高级算法梳理-Task3 XGB算法简介
本文根据多篇博文整理总结而成XGBoost(eXtreme Gradient Boosting)--极端梯度提升,XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。它是 Gradient Boosting Machine 的一个 c++ ...原创 2019-05-17 07:58:47 · 361 阅读 · 0 评论