本文是对阅读论文《Greedy function approximation - A gradient boosting machine》总结,将对论文原文的关键部分进行梳理,主要内容包括5个部分:
第一部分背景和相关工作,主要介绍最速下降和加性扩展。
第二部分主要思想 ,内容包括:级联函数,带参函数在数值空间的优化,有限集上的SGD,GB的一般套路,GB的算法通用框架,不同损失函数的GB 。
第三部分实例,一个手算GB的小例子,加深对GB的理解。
第四部分实验。
第五部分结论,看完论文后的总体理解。